← 所有使用案例 观看 Engineering 工作流程实际运作
Engineering
透过评测选择正确的 LLM
系统性评估哪个模型为特定配方产生最佳输出。
问题
团队基于直觉或行销宣传选择 LLM 模型，然后无限期使用。当新模型发布时，没有人进行严格比较——因此团队要么错过更好的选项，要么基于炒作过早切换。结果是品质不佳、不必要的成本，或两者皆是。
解决方案
JieGou 的评测系统将相同的输入送入多个模型配置，并使用 LLM 作为评审的评分方式来确定哪个模型实际表现最佳。统计信赖区间防止过早下结论，合成输入生成确保测试集多样化。
工作流程步骤
建立评测
配方步骤选择要评估的配方，并选择两个或更多模型配置进行比较（例如 Claude Sonnet vs. GPT-5 vs. Gemini Pro）。
生成合成输入
配方步骤从配方的输入结构自动生成 50 个多样化测试输入，涵盖各种场景和边界案例。
执行多评审评估
平行处理平行执行所有模型变体，然后由 2-3 个独立 LLM 评审对每个输出进行共识评分。
审查统计结果
审核关卡工程主管在推广获胜模型前审查信赖区间、成本比较和评审间一致性。
预期成果
- 数据驱动的模型选择取代猜测
- 成本最佳化——识别品质相当但更便宜的模型
- 统计信赖度防止过早下结论
- 可重复的流程，在新模型发布时重新评估