オープンソースLLMの転換点
2026年初頭に何かが変わりました。Mistral 3は標準ベンチマークで**GPT-5.2の品質の92%**に達しました——**コストの15%**で。DeepSeek-V3.2は6ヶ月前にはフロンティアモデルでしか実現できなかった推論能力を実証しました。Qwen3は多言語タスクでのギャップをさらに縮めました。そしてMetaのLlama 4は、以前は避けられなかった品質の妥協なしにコモディティハードウェアで実行可能なパラメータ効率の高いアーキテクチャで登場しました。
オープンソースはもはや妥協ではありません。増え続けるユースケースのリストにおいて、それは戦略的に優れた選択です——低コスト、ベンダー依存性なし、オンプレミスデプロイメントオプション、そしてタスクに対して十分に近い（またはより良い）品質。
しかし、その文の中で「十分に近い」は多くの仕事をしています。オープンソースとプロプライエタリモデルのギャップは均一ではありません。タスクタイプによって劇的に異なり、オープンソースがどこで勝ち、どこで勝たないかを知る唯一の方法は測定することです。ベンチマークではなく——実際のワークロードで、実際のデータを使って測定することです。
それがbakeoffの目的です。
JieGou Bakeoffの仕組み
Bakeoffは、LLM-as-judgeスコアリングと統計的信頼区間を使用して、同じ入力に対して評価される2つ以上のモデル設定の構造化された比較です。セットアップは以下の通りです：
**アーム。**各アームはテストしたいモデル設定です。アームにはモデルプロバイダー、モデルID、温度、最大トークン数、その他のパラメータを指定します。2つのアーム（A/Bテスト）から、単一のbakeoffで最大8つのアームを比較できます。
**入力。**各アームが処理するテストデータ。recipeの履歴からの実際の本番入力、手動で作成されたエッジケース、またはJieGouの入力ジェネレーターが生成した合成入力を使用できます。各bakeoffは最大10入力をサポートし、合計40セル（アーム×入力）の上限があります。
**評価。**各セルはLLMジャッジによって重み付けされた基準——デフォルトでは関連性、完全性、明確さ、正確性、フォーマット——でスコアリングされます。スコアは0から100です。ポジションランダム化が順序バイアスを防ぎます。マルチジャッジモードは2〜3の独立したジャッジを実行し、Kendallのτ相関を使用してジャッジ間の一致度を測定します。
**コスト追跡。**すべてのセルがアームごとのトークン数とコストを記録するため、どのモデルが優れているかだけでなく、どのモデルが1ドルあたり優れているかを確認できます。
**信頼区間。**結果には95%信頼区間が含まれます。アーム間で区間が重なる場合、JieGouがフラグします——差異は意味がない可能性があります。これにより、チームがノイズに基づいて意思決定することを防ぎます。
ケーススタディ：10のRecipeカテゴリ、3つのモデル
10の代表的なrecipeカテゴリにわたるbakeoffを実行し、各カテゴリ100入力（モデルあたり合計1,000のrecipe実行）で実施しました。3つのアーム：
- Llama 4（70B） — Metaの最新オープンソースモデル、2x A100 GPUでセルフホスト
- Claude Sonnet 4.6 — Anthropicのミッドティアプロプライエタリモデル（API経由）
- GPT-5.2 — OpenAIのフラッグシップモデル（API経由）
各入力は2つの独立したジャッジ（Claude Opus 4.6とGPT-5.2）がポジションランダム化で評価しました。スコアはジャッジと入力の平均をとりました。コストは実際のAPI支出（ClaudeとGPT-5.2の場合）と計算コスト（セルフホストLlama 4の場合）として測定しました。
結果
| カテゴリ | Llama 4 | Claude Sonnet 4.6 | GPT-5.2 | コスト/実行（Llama） | コスト/実行（Claude） | コスト/実行（GPT） | 勝者 |
|---|---|---|---|---|---|---|---|
| コンテンツ生成 | 81 | 89 | 87 | $0.003 | $0.018 | $0.024 | Claude |
| データ抽出 | 88 | 90 | 89 | $0.002 | $0.014 | $0.019 | Llama（コスト調整済） |
| 要約 | 84 | 88 | 87 | $0.004 | $0.021 | $0.028 | Claude |
| 分類 | 91 | 92 | 91 | $0.001 | $0.008 | $0.011 | Llama（コスト調整済） |
| 翻訳 | 86 | 84 | 85 | $0.003 | $0.016 | $0.022 | Llama |
| コードレビュー | 74 | 88 | 86 | $0.005 | $0.025 | $0.032 | Claude |
| カスタマーサポート | 82 | 87 | 85 | $0.003 | $0.015 | $0.020 | Claude |
| リサーチ | 79 | 86 | 88 | $0.006 | $0.028 | $0.035 | GPT-5.2 |
| 分析 | 76 | 87 | 85 | $0.005 | $0.024 | $0.031 | Claude |
| クリエイティブライティング | 77 | 91 | 84 | $0.004 | $0.020 | $0.026 | Claude |
主要な結論：
-
**Llama 4はコストに敏感なタスクで勝利。**分類、データ抽出、翻訳——品質ギャップが小さく（1〜3ポイント）、ボリュームが大きいタスク——では、Llama 4は実行あたりのコストが5〜8倍低いです。月10,000実行では、$10の請求と$80の請求の差です。これらのrecipeを大規模に実行する部門にとって、節約額は実質的です。
-
**Claude Sonnet 4.6はニュアンスで勝利。**コンテンツ生成、クリエイティブライティング、コードレビュー、分析——コンテキストの理解、トーンの維持、ニュアンスのある出力の生成を必要とするタスク——では、Claudeに一貫して8〜15ポイントの品質優位性があります。コストプレミアム（Llama 4の5〜7倍）は、出力品質がビジネス成果に直接影響する場合に正当化されます。
-
**GPT-5.2は競争力があるが最も高価。**GPT-5.2はリサーチカテゴリで完全に勝利し、他のほとんどでClaudeの1〜2ポイント以内でした。しかし、実行あたりClaudeの30〜40%高いコストで、バリュープロポジションは狭いです。その特定の強み（深いリサーチ、特定の推論パターン）がタスクに合致する場合が最適な選択です。
-
**品質ギャップはタスク依存。**Llama 4は構造化タスクでプロプライエタリモデルの2ポイント以内のスコアを出しました（分類：91 vs. 92、データ抽出：88 vs. 90）。オープンエンドのタスク（クリエイティブライティング：77 vs. 91、分析：76 vs. 87）では、ギャップが大幅に拡大しました。単一の「最良のモデル」はありません——各タスクに最適なモデルがあるだけです。
オープンソース vs. プロプライエタリをいつ使うべきか
これらの結果と数百の顧客bakeoffに基づく、意思決定フレームワーク：
オープンソース（Llama 4、Mistral 3、DeepSeek-V3.2、Qwen3）を使うべき場合：
- **コストが品質要件を上回る場合。**タスクが大量で品質基準が「十分」（分類、抽出、単純な要約）の場合、オープンソースモデルの5〜8倍のコスト削減は急速に蓄積されます。月50,000回実行されるrecipeは数千ドルの節約になります。
- **データがオンプレミスに留まる必要がある場合。**セルフホストモデルはデータがインフラストラクチャから出ないことを意味します。PHIを扱う医療機関、データレジデンシー要件のある金融機関、機密情報を持つ政府機関にとって、これは好みではなく——義務です。
- **レイテンシー要件が厳格な場合。**専用ハードウェア上のセルフホストモデルは100ms未満の一貫した推論レイテンシーを提供します。APIベースのプロプライエタリモデルはネットワーク往復時間、キュー待機時間、レート制限が加わり、p99レイテンシーが2秒以上になることがあります。
- **モデルの完全な制御が必要な場合。**ファインチューニング、量子化、カスタムトークナイザー、推論最適化——オープンソースはスタック全体を変更する自由を提供します。プロプライエタリAPIはパラメータを提供します。
プロプライエタリ（Claude、GPT-5.2）を使うべき場合：
- **品質が最重要な場合。**顧客対応コンテンツ、法的文書分析、複雑なコードレビュー、ニュアンスのあるクリエイティブタスクでは、プロプライエタリモデルの8〜15ポイントの品質優位性がより良いビジネス成果に直接つながります。10%良いサポート回答は、顧客維持と解約の差になり得ます。
- **複雑な推論が必要な場合。**マルチステップ推論、長コンテキスト理解、数千トークンにわたる一貫性維持を必要とするタスクは依然としてプロプライエタリモデルが有利です。ギャップは縮まっていますが、まだ閉じていません。
- **コンプライアンスが特定のプロバイダーを要求する場合。**一部のエンタープライズコンプライアンスフレームワークは承認済みAIベンダーを指定しています。組織のセキュリティレビューがAnthropicまたはOpenAIを承認しているがオープンソースモデルを評価していない場合、レビューが完了するまでプロプライエタリがコンプライアンスに適合した選択です。
- **マネージドインフラストラクチャが欲しい場合。**APIベースのモデルはインフラストラクチャ管理がゼロです。GPU調達、モデルサービング、バージョンアップグレード、キャパシティプランニングは不要です。MLインフラストラクチャの専門知識がないチームにとって、この運用のシンプルさには実質的な価値があります。
ハイブリッド戦略
最も洗練されたJieGouの顧客はどちらか一方を選びません。bakeoffを使用して各recipeに最適なモデルを見つけ、マルチモデルworkflowを構築します：
- **ステップ1（分類）：**Llama 4 — 高速、安価、十分な精度
- **ステップ2（分析）：**Claude Sonnet 4.6 — ニュアンスのある推論が必要
- **ステップ3（フォーマット）：**Llama 4 — 構造化出力、創造性不要
- **ステップ4（レビューサマリー）：**Claude Sonnet 4.6 — 顧客対応品質
このworkflowは、すべてのステップにClaudeを使用するより40%低コストで、最終出力に測定可能な品質低下はありません。JieGouのBYOKアーキテクチャによりこれは簡単です——workflow内の各ステップが異なるプロバイダーとモデルを使用できます。
独自のBakeoffを実行する
これらの結果は出発点として有用ですが、重要なのはお客様のデータで、お客様のプロンプトで、お客様の品質基準に対して測定された結果だけです。すべての組織のワークロードは異なり、最適なモデルミックスはお客様の具体的な要件に依存します。
JieGouのbakeoffシステムでは、任意のモデルを並べて比較できます：アームを設定し、入力を提供（または合成入力を生成）し、評価基準を定義し、信頼区間とコスト追跡付きのスコアリング結果を数分で取得できます。
console.jiegou.ai/bakeoffs/newで新しいbakeoffを開始できます。最低コミットメント不要、セットアップ不要——モデルとデータを選ぶだけです。
ベンチマークリーダーボードに基づいてモデルを選ぶ時代は終わりました。重要なワークロードで重要なことを測定し、データに判断を委ねてください。