Caché de Prompts

​

Descripción General

• Consultas repetidas (bots de FAQ, preguntas comunes)
• Desarrollo y pruebas
• Endpoints de alto tráfico con entradas predecibles

​

Habilitar el Caché

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'What is 2+2?' }],
  cache: {
    enabled: true,
    ttl: 3600, // cache for 1 hour
  },
});

console.log(response.openmodex?.cache_hit); // true on subsequent requests

​

Cómo Funciona

1. OpenModex genera un hash de la solicitud (modelo + mensajes + parámetros)
2. Si existe una respuesta en caché y no ha expirado, se devuelve inmediatamente
3. Si no hay caché, la solicitud va al proveedor y la respuesta se almacena en caché

​

Clave de Caché

• Nombre del modelo
• Array de mensajes (contenido y roles)
• Temperature, max_tokens y otros parámetros de generación

​

TTL (Tiempo de Vida)

​

Ahorro de Costos

• Los tokens de entrada en caché se facturan a ~50% de la tarifa normal
• Sin costo de tokens de salida para respuestas en caché
• Latencia cero — las respuestas se devuelven en <10ms

​

Verificar Estado del Caché

const response = await client.chat.completions.create({...});

if (response.openmodex?.cache_hit) {
  console.log('Served from cache!');
}