Mise en cache des prompts

​

Vue d’ensemble

• Les requêtes répétées (bots FAQ, questions fréquentes)
• Le développement et les tests
• Les endpoints à fort trafic avec des entrées prévisibles

​

Activer la mise en cache

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'What is 2+2?' }],
  cache: {
    enabled: true,
    ttl: 3600, // cache for 1 hour
  },
});

console.log(response.openmodex?.cache_hit); // true on subsequent requests

​

Comment ça fonctionne

1. OpenModex calcule le hash de la requête (modèle + messages + paramètres)
2. Si une réponse en cache existe et n’a pas expiré, elle est renvoyée immédiatement
3. Si aucun cache n’existe, la requête est envoyée au fournisseur et la réponse est mise en cache

​

Clé de cache

• Le nom du modèle
• Le tableau des messages (contenu et rôles)
• La température, max_tokens et les autres paramètres de génération

​

TTL (Time to Live)

​

Économies

• Les tokens d’entrée en cache sont facturés à environ 50 % du tarif normal
• Pas de coût de tokens de sortie pour les réponses en cache
• Zéro latence — les réponses sont renvoyées en <10ms

​

Vérifier le statut du cache

const response = await client.chat.completions.create({...});

if (response.openmodex?.cache_hit) {
  console.log('Served from cache!');
}