Quand vous construisez une recette IA, comment savez-vous que c’est la meilleure version ? Quand vous choisissez un modèle, comment savez-vous que c’est le bon pour la tâche ? La plupart des équipes se fient à l’intuition — elles l’exécutent quelques fois, examinent la sortie à vue d’œil et passent à autre chose. Ça fonctionne pour le prototypage, mais pas pour la production.
Aujourd’hui nous lançons les bakeoffs : un système intégré pour comparer recettes IA, modèles et workflows complets avec une évaluation automatisée rigoureuse.
Qu’est-ce qu’un bakeoff ?
Un bakeoff exécute les mêmes entrées à travers deux ou plusieurs configurations IA et note les résultats. La notation est faite par un juge LLM indépendant — pas le modèle qui a produit la sortie — pour que l’évaluation soit aussi objective que possible.
Vous pouvez comparer selon six modes :
- Recette vs. recette — Deux recettes différentes traitant les mêmes entrées
- Modèle vs. modèle — La même recette sur différents fournisseurs LLM (ex. Claude vs. GPT)
- Matrice complète — Chaque recette × chaque combinaison de modèle dans une seule grille d’évaluation
- Workflow vs. workflow — Exécution complète de workflow de bout en bout comparée côte à côte
- Workflow modèle vs. modèle — Le même workflow exécuté avec différents fournisseurs LLM à travers ses étapes
- Test A/B — Division du trafic en direct qui route les exécutions réelles entre deux variantes
Comment fonctionne la notation
Chaque sortie est notée par un juge LLM sur des dimensions comme la qualité, la précision, la pertinence et la complétude.
Pour une confiance plus élevée, activez le mode multi-juges avec 2-3 juges indépendants. JieGou calcule l’accord inter-juges en utilisant les coefficients de corrélation de rang de Kendall’s tau et Spearman’s rho, pour que vous puissiez voir si les juges convergent ou divergent. Les résultats incluent des intervalles de confiance à 95 % et des écarts-types.
Entrées synthétiques
Vous n’avez pas assez de données réelles pour une comparaison significative ? Le générateur d’entrées synthétiques crée des cas de test diversifiés à partir des schémas d’entrée de votre recette ou workflow.
Routage de test A/B
Pour les recettes et workflows déjà en production, les bakeoffs supportent le routage de test A/B en direct. Le trafic est divisé entre deux variantes, et JieGou suit la performance avec un test statistique chi-carré. Quand une variante atteint la significativité statistique, le routage arrête automatiquement d’envoyer du trafic à la variante perdante.
Templates de bakeoff
Configurer un bakeoff — choisir les bras, configurer les juges, sélectionner les schémas d’entrée — demande de la réflexion. Les templates vous permettent de sauvegarder une configuration de bakeoff et de la réutiliser plus tard.
Les templates supportent le périmètre de visibilité : gardez-les privés, partagez avec votre département ou rendez-les disponibles pour tout le compte.
Quand utiliser les bakeoffs
Les bakeoffs sont les plus utiles quand :
- Choix d’un modèle — Vous lancez une nouvelle recette et voulez choisir entre Claude, GPT et Gemini sur la base de la qualité de sortie, pas d’hypothèses
- Itération sur les prompts — Vous avez réécrit le prompt d’une recette et voulez vérifier que la nouvelle version est vraiment meilleure avant de la déployer
- Optimisation des coûts — Un modèle moins cher pourrait produire une sortie équivalente pour certaines tâches, mais vous avez besoin de données pour le prouver
- Comparaison de workflows — Deux stratégies d’automatisation différentes produisent des sorties différentes, et vous devez savoir laquelle est meilleure de bout en bout
Disponibilité
Les bakeoffs de recettes et de modèles sont disponibles sur les plans Pro. Les bakeoffs de workflows et le routage de tests A/B sont disponibles sur Enterprise. En savoir plus sur les bakeoffs ou commencez votre essai gratuit.