Skip to main content

概覽

串流允許您在 token 生成時即時接收,而不是等待完整回應。這大幅改善了使用者感知到的延遲。

何時使用串流

  • 聊天介面 — 顯示打字指示器和即時文字
  • 長回應 — 不讓使用者等待完整回應
  • 程式碼生成 — 即時顯示正在撰寫的程式碼

運作方式

  1. 在請求中設定 stream: true
  2. OpenModex 開啟 SSE(Server-Sent Events)連線
  3. Token 以 data: 事件的形式在生成時發送
  4. 串流以 data: [DONE] 結束

範例

串流 + 容錯備援

串流與容錯備援無縫配合。如果主要模型在串流開始前失敗,OpenModex 會自動使用備援模型重試: