プロンプトキャッシュ

概要

プロンプトキャッシュは、同一のリクエストに対するレスポンスを保存し、新しいAPIコールを行うことなくキャッシュされた結果を即座に返します。以下の場合に最適です：

繰り返しのクエリ（FAQボット、よくある質問）
開発およびテスト
予測可能な入力を持つ高トラフィックエンドポイント

キャッシュの有効化

リクエストにcacheパラメータを追加します：

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'What is 2+2?' }],
  cache: {
    enabled: true,
    ttl: 3600, // cache for 1 hour
  },
});

console.log(response.openmodex?.cache_hit); // true on subsequent requests

仕組み

OpenModexがリクエスト（モデル + メッセージ + パラメータ）をハッシュ化
キャッシュされたレスポンスが存在し、期限切れでなければ即座に返される
キャッシュが存在しない場合、リクエストはプロバイダーに送信され、レスポンスがキャッシュされる

キャッシュキー

キャッシュキーは以下から計算されます：

モデル名
メッセージ配列（コンテンツとロール）
temperature、max_tokens、その他の生成パラメータ

これらのパラメータのいずれかを変更すると、異なるキャッシュキーになります。

TTL（有効期間）

設定	値
デフォルトTTL	300秒（5分）
最小TTL	60秒
最大TTL	86400秒（24時間）

コスト削減

キャッシュされたレスポンスは大幅に安価です：

キャッシュされた入力トークンは通常レートの約50%で課金
出力トークンコストなし — キャッシュされたレスポンスの場合
ゼロレイテンシー — レスポンスは10ms未満で返される

キャッシュステータスの確認

const response = await client.chat.completions.create({...});

if (response.openmodex?.cache_hit) {
  console.log('Served from cache!');
}

はじめに

プラットフォーム

コア機能

ガイド

プロンプトキャッシュ

概要

キャッシュの有効化

仕組み

キャッシュキー

TTL（有効期間）

コスト削減

キャッシュステータスの確認

​概要

​キャッシュの有効化

​仕組み

​キャッシュキー

​TTL（有効期間）

​コスト削減

​キャッシュステータスの確認

概要

キャッシュの有効化

仕組み

キャッシュキー

TTL（有効期間）

コスト削減

キャッシュステータスの確認