Routage intelligent

Vue d’ensemble

Le moteur de routage intelligent d’OpenModex sélectionne automatiquement le fournisseur optimal pour chaque requête. Au lieu de coder en dur un seul fournisseur, vous pouvez laisser OpenModex choisir en fonction de vos priorités.

Stratégies de routage

Optimisé en coût

Route vers le fournisseur le moins cher capable de traiter la requête :

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'Summarize this article...' }],
  routing: {
    strategy: 'cost_optimized',
  },
});

Optimisé en latence

Route vers le fournisseur disponible le plus rapide :

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'Quick answer needed...' }],
  routing: {
    strategy: 'latency_optimized',
  },
});

Optimisé en qualité

Route vers le fournisseur avec les meilleurs scores de qualité :

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'Write a detailed analysis...' }],
  routing: {
    strategy: 'quality_optimized',
  },
});

Basculements côté serveur

Définissez une chaîne de basculement qui s’exécute automatiquement si le modèle principal échoue :

const response = await client.chat.completions.create({
  model: 'gpt-4o',
  messages: [{ role: 'user', content: 'Hello!' }],
  routing: {
    fallback: ['claude-3.5-sonnet', 'gemini-2.0-flash'],
  },
});

Si gpt-4o est indisponible (5xx ou limite de débit), OpenModex essaie automatiquement claude-3.5-sonnet, puis gemini-2.0-flash.

Autoriser la mise à niveau

Laissez OpenModex router vers un modèle plus performant lorsqu’il est disponible au même niveau de prix :

const response = await client.chat.completions.create({
  model: 'gpt-4o-mini',
  messages: [{ role: 'user', content: 'Hello!' }],
  routing: {
    allow_upgrade: true,
  },
});

Disjoncteur

OpenModex surveille l’état de santé des fournisseurs en temps réel. Lorsqu’un fournisseur commence à échouer :

Sain — les requêtes sont routées normalement
Dégradé — après des échecs consécutifs, le trafic est réduit
Ouvert — le fournisseur est temporairement retiré du routage
Récupération — des vérifications de santé périodiques rétablissent le fournisseur

Cela se produit automatiquement — vous n’avez rien à configurer.

Vérifier ce qui s’est passé

Chaque réponse inclut des métadonnées de routage :

const response = await client.chat.completions.create({...});

console.log(response.openmodex?.provider);          // "openai"
console.log(response.openmodex?.routing_strategy);   // "cost_optimized"
console.log(response.openmodex?.fallback_used);      // false
console.log(response.openmodex?.latency_ms);         // 850

Démarrage

Plateforme

Fonctionnalités

Guides

Routage intelligent

Vue d’ensemble

Stratégies de routage

Optimisé en coût

Optimisé en latence

Optimisé en qualité

Basculements côté serveur

Autoriser la mise à niveau

Disjoncteur

Vérifier ce qui s’est passé

​Vue d’ensemble

​Stratégies de routage

​Optimisé en coût

​Optimisé en latence

​Optimisé en qualité

​Basculements côté serveur

​Autoriser la mise à niveau

​Disjoncteur

​Vérifier ce qui s’est passé

Vue d’ensemble

Stratégies de routage

Optimisé en coût

Optimisé en latence

Optimisé en qualité

Basculements côté serveur

Autoriser la mise à niveau

Disjoncteur

Vérifier ce qui s’est passé