Skip to main content

概覽

OpenModex 的智慧路由引擎會自動為每個請求選擇最佳供應商。您可以讓 OpenModex 根據您的優先順序來選擇,而不是寫死使用單一供應商。

路由策略

成本最佳化

路由到能滿足請求的最便宜供應商:

延遲最佳化

路由到最快的可用供應商:

品質最佳化

路由到品質分數最高的供應商:

伺服器端容錯備援

定義在主要模型失敗時自動執行的備援鏈:
如果 gpt-4o 不可用(5xx 或速率限制),OpenModex 會自動嘗試 claude-3.5-sonnet,然後嘗試 gemini-2.0-flash。

允許升級

讓 OpenModex 在相同價格層級有更強模型可用時進行路由:

斷路器

OpenModex 即時監控供應商健康狀態。當供應商開始出現故障時:
  1. 健康 — 請求正常路由
  2. 降級 — 連續失敗後,流量被減少
  3. 開啟 — 供應商暫時從路由中移除
  4. 恢復 — 定期健康檢查恢復供應商
這一切自動發生 — 您不需要做任何設定。

檢查發生了什麼

每個回應都包含路由中繼資料: