JieGou supporte des modèles d’Anthropic (Claude), OpenAI (GPT, série o) et Google (Gemini). Vous pouvez choisir un modèle différent pour chaque recette et chaque étape de workflow. Mais avec autant d’options, comment décider quel modèle utiliser où ?
Ce guide présente un cadre pratique pour la sélection de modèles.
Commencez par le type de tâche
Différents modèles ont différentes forces. Sur la base de milliers d’exécutions de recettes à travers notre base d’utilisateurs, voici les tendances générales :
Rédaction longue et nuance — Claude (Sonnet et Opus) tend à produire une écriture plus naturelle et nuancée. Si votre recette génère du contenu destiné aux clients, du texte marketing ou une analyse détaillée, Claude est un bon point de départ.
Extraction structurée et classification — Les modèles GPT sont souvent performants pour extraire des données structurées à partir de texte non structuré. Le parsing de factures, la catégorisation de tickets et les tâches de transformation de données fonctionnent fréquemment bien avec GPT.
Tâches sensibles à la vitesse — Pour les tâches où la latence compte plus que le plafond de qualité (réponses de chat, suggestions en temps réel), les petits modèles comme Claude Haiku, GPT-5-mini ou Gemini Flash offrent des réponses plus rapides à moindre coût.
Tâches nécessitant un raisonnement poussé — Pour les tâches nécessitant une logique multi-étapes, de la planification ou du raisonnement mathématique, les modèles de la série o (o3, o4-mini) et Gemini Pro méritent d’être testés.
Ce sont des lignes directrices, pas des règles. Le bon modèle pour votre recette spécifique dépend de votre prompt, de vos données et de votre niveau d’exigence qualité.
Utilisez les bakeoffs pour valider
Au lieu de deviner, utilisez le système de bakeoff de JieGou pour tester empiriquement. Voici un workflow pratique :
Tour 1 : filtrage rapide (3 modèles, 10 entrées)
Créez un bakeoff de recette comparant vos 3 meilleurs candidats sur 10 entrées représentatives. Utilisez un seul juge LLM. Cela prend quelques minutes et vous donne un signal directionnel.
Cherchez les gagnants et les perdants évidents. Si un modèle obtient un score significativement plus bas, éliminez-le. Si deux sont proches, ils passent tous les deux au tour 2.
Tour 2 : évaluation statistique (2 modèles, 50 entrées)
Prenez les 2 meilleurs candidats et lancez un bakeoff plus rigoureux avec 50 entrées et une évaluation multi-juges. Vérifiez les intervalles de confiance — s’ils ne se chevauchent pas, vous avez un gagnant. S’ils se chevauchent, les modèles sont fonctionnellement équivalents pour cette tâche, et vous devriez décider en fonction du coût ou de la vitesse.
Tour 3 : test A/B en production (optionnel)
Si l’évaluation hors ligne n’est pas concluante ou si vous avez besoin d’une validation en production, mettez en place un test A/B en direct. Routez le trafic entre les deux variantes pendant 48-72 heures et laissez le mécanisme d’arrêt automatique déterminer le gagnant basé sur les performances réelles.
Considérez les compromis coût vs. qualité
Les tarifs des modèles varient considérablement. Un modèle frontier peut obtenir 5 % de plus en qualité mais coûter 10x plus par token. Pour beaucoup de tâches, ce compromis n’en vaut pas la peine.
Les bakeoffs de JieGou montrent la comparaison des coûts aux côtés des scores de qualité, pour que vous puissiez prendre des décisions éclairées. Constats courants :
- Pour 80 % des tâches internes (résumés, brouillons, catégorisation), les modèles de milieu de gamme produisent une qualité équivalente aux modèles frontier pour une fraction du coût
- Pour le contenu destiné aux clients et les analyses à enjeux élevés, la différence de qualité des modèles frontier justifie le coût
- Pour les tâches à haut volume et faible complexité (classification, extraction), le plus petit modèle suffisant économise le plus d’argent
Mixez les modèles au sein des workflows
L’une des forces de JieGou est la sélection de modèle par étape dans les workflows. Un schéma courant :
- Étape d’extraction — Utilisez un modèle rapide et peu coûteux (Haiku, GPT-5-mini) pour extraire des données structurées de l’entrée
- Étape d’analyse — Utilisez un modèle axé raisonnement (o3, Gemini Pro) pour analyser les données extraites
- Étape de rédaction — Utilisez un modèle de rédaction performant (Claude Sonnet, GPT-5) pour produire la sortie finale
Chaque étape utilise le modèle le mieux adapté à son type de tâche, optimisant à la fois la qualité et le coût sur l’ensemble du workflow.
Réévaluez périodiquement
Les capacités des modèles changent avec les nouvelles versions. Un modèle qui était deuxième il y a six mois peut être la meilleure option aujourd’hui. Programmez un rappel pour relancer vos bakeoffs trimestriellement, surtout après les mises à jour majeures de modèles.
JieGou rend cela facile — vos configurations de bakeoff sont sauvegardées, donc relancer avec des modèles mis à jour ne nécessite qu’un seul clic.
Pour commencer
Le support multi-fournisseur de modèles est disponible sur tous les plans. Les bakeoffs pour la comparaison de modèles sont disponibles sur Pro. Explorez tous les modèles supportés ou lancez votre premier bakeoff.