Skip to content
プロダクト

Bring Your Own Model:JieGouがClaudeからLlamaまですべてのLLMをサポートする方法

JieGouのマルチプロバイダーアーキテクチャにより、Claude、GPT-5、Gemini、Llama 4などのオープンソースモデルを単一プラットフォームから実行可能——ステップごとの選択、自動検出、ゼロナレッジキー暗号化機能付き。

JT
JieGou Team
· · 2 分で読めます

すべてのAI自動化プラットフォームが「マルチモデルサポート」を謳っています。実際には、設定のドロップダウンでGPT-4oとGPT-5を切り替えられるという意味であることがほとんどです。Claudeもリストにあるかもしれません。オープンソースモデルを実行したい場合は、自力で対応する必要があります。

JieGouは異なるアプローチを取っています。クラウドホスト型でもセルフホスト型でも、プロプライエタリでもオープンソースでも、すべてのLLMをファーストクラスの市民として扱うユニバーサルモデルレイヤーを構築しました。この記事では、その仕組みとなぜ重要かを説明します。

1つのプラットフォームに4つのプロバイダーティア

ティア1:BYOK付きクラウドプロバイダー

Anthropic(Claude Sonnet 4.6、Haiku 4.5、Opus 4.6)、OpenAI(GPT-5.2、GPT-5-mini、GPT-5-nano、o3、o4-mini)、Google(Gemini 3.1 Pro、Gemini 3 Flash、Gemini 2.5 Pro/Flash)に独自のAPIキーを使用できます。

キーは、HKDF-SHA256によるアカウントごとの派生キーを使用したAES-256-GCMで暗号化されます。実行中にのみメモリ内で復号化され、平文で保存されることはありません。無料ティアではプラットフォーム提供のキーを使用して、認証情報を入力せずに開始することもできます。

ティア2:認定オープンソースモデル

vLLM上で4つのオープンソースモデルをエンドツーエンドでテストし、ツール呼び出し、構造化JSON出力、recipe実行を含む完全なJieGou互換性を認定しました:

モデルパラメータツール呼び出し構造化出力ビジョンコンテキスト
Llama 4 Maverick400B+ MoE対応対応対応1Mトークン
DeepSeek V3.2671B MoE対応対応非対応128Kトークン
Qwen 3 235B235B MoE対応対応非対応128Kトークン
Mistral 3 Large123B dense対応対応対応128Kトークン

「認定」とは、これらのモデルに対して数千のrecipe実行を行い、ツール呼び出しと構造化出力が正しく動作することを検証し、互換性レベルを文書化したことを意味します。安心してデプロイできます。

ティア3:コミュニティモデル

OpenAI互換APIでアクセス可能な任意のモデルがJieGouで動作します。テストは行っていないため「community」ティアラベルが付きますが、統合は同一です。OpenAI APIフォーマットに対応していれば、JieGouで使用できます。

ティア4:自動検出ローカルモデル

JieGouは起動時にローカル推論サーバーを探索します:

  1. http://ollama:11434(Docker Composeサービス名)
  2. http://localhost:11434(ローカルOllama)
  3. http://localhost:8000(ローカルvLLM)
  4. OLLAMA_BASE_URL環境変数

サーバーが見つかると、モデルリストをクエリし、それらのモデルをモデルピッカーで利用可能にします。手動設定は不要です。検出結果は推論サーバーへの過剰なアクセスを避けるために5分間キャッシュされます。

ステップごとのモデル選択

これが、マルチプロバイダーサポートを比較表のチェックボックスではなく、実際に有用なものにする機能です。

JieGouのworkflowでは、すべてのステップが異なるモデルを使用できます。典型的なセットアップ:

ワークフローステップタスクモデル理由
1. リサーチ詳細な競合分析Claude Opus 4.6最高の推論品質
2. 分類結果のカテゴリ化GPT-5-nano分類に高速かつ安価
3. 抽出構造化データの取得Llama 4 Maverick最低コストで大量処理
4. 要約エグゼクティブブリーフの作成Claude Sonnet 4.6優れた文章品質
5. 翻訳5言語にローカライズQwen 3 235B最高の多言語パフォーマンス

同じ柔軟性がrecipe(各recipeに独自のモデル設定)、会話(チャットごとにモデルを選択)、バッチ実行(選択したモデルがすべての行に適用)にも適用されます。

モデルレコメンデーションエンジン

すべてのタスクに適切なモデルを選ぶのは強力ですが、複雑でもあります。レコメンデーションエンジンがそれを実用的にします。

recipeの10回以上の実行後、エンジンは使用したすべてのモデルをスコアリングするのに十分なデータを持ちます:

score = successRate × 0.5 + costEfficiency × 0.3 + speed × 0.2

過去60日間の実行履歴を見て以下を比較します:

  • 成功率 — エラーなしで完了した実行の割合
  • コスト効率 — 成功した実行あたりのコスト(低いほど良い)
  • 速度 — 平均実行時間(速いほど良い)

現在のモデルが10回以上の実行で90%以上の成功率を持つ場合、エンジンは良い選択であることを確認します。そうでなければ、完全なメトリクス付きで最高スコアの代替を推奨し、情報に基づいた切り替えを可能にします。

厳密な比較には、bakeoffを実行できます——LLM-as-judgeスコアリングと95%信頼区間による一対一の評価です。Bakeoffは任意の2つのモデル、2つのrecipe、または2つのworkflowを比較できます。

エンタープライズのレジリエンス

複数のプロバイダーにわたって本番ワークロードを実行するには、APIキー管理以上のものが必要です。JieGouには3つのレジリエンスレイヤーが含まれています:

サーキットブレーカー

各プロバイダーに独自のサーキットブレーカーがあります。60秒以内に5回の呼び出しが失敗すると、サーキットがオープンになり——後続の呼び出しはタイムアウトの代わりに即座に失敗します。30秒後、サーキットはハーフオープン状態になりプローブリクエストを送信します。成功すると、サーキットがクローズしトラフィックが再開します。

openai-compatibleプロバイダーの場合、サーキットブレーカーはアカウントごとにスコープされます(各顧客が異なるエンドポイントを持つ可能性があるため)。クラウドプロバイダーはグローバルサーキットブレーカーを共有します。

重要なのは、サーキットブレーカーはfail-openです——Redisがダウンしてサーキット状態を確認できない場合、呼び出しを通します。これにより、モニタリングの障害がworkflowをブロックすることはありません。

同時実行制限

グローバルセマフォがアカウントごとの同時LLM呼び出しを制限し、暴走した使用を防ぎます。制限はプランに応じてスケールします:

プランティアグローバル容量シェアアカウントごとの最大
Enterprise100%(150スロット)10同時
Pro83%(125スロット)10同時
Starter67%(100スロット)10同時

コスト追跡

すべてのLLM呼び出しがトークン使用量と推定コストを記録します。BYOKを使用する場合、コストは別途追跡されます——分析ダッシュボードに表示されますが、プロバイダーに直接支払うため、プラットフォームの使用制限にはカウントされません。

コストエスティメーターは直近20回の成功した実行の履歴平均を使用して、実行前にコストを予測します。recipeごと、workflowステップごと、バッチ実行ごとの予想支出を確認できます。

ゼロナレッジキーアーキテクチャ

JieGouは保存時にAPIキーを平文で見ることはありません。暗号化パイプライン:

  1. ルートキーをSecret Managerまたは環境変数からロード(64文字の16進数)
  2. アカウントごとのキーをHKDF-SHA256で導出:HKDF(rootKey, "", "jiegou-byok-envelope-v1:{accountId}", 32)
  3. 暗号化:ランダムな12バイトIVと16バイト認証タグ付きAES-256-GCM
  4. 保存:暗号文+IV+認証タグのみがFirestoreに保存
  5. 復号化:実行時にメモリ内で行われ、永続化されない

キーローテーションがサポートされています——システムはダウンタイムなしでレガシーのグローバル暗号化スキームからアカウントごとのエンベロープ暗号化に移行できます。

API呼び出しが401または403を返した場合、システムは自動的にキーを無効としてマークし、明確なエラーを表示します。設定ページからキーの再検証または置き換えが可能です。

はじめに

  1. 無料ティア:Anthropic、OpenAI、Google用のプラットフォーム提供キーを使用——認証情報不要
  2. BYOK:設定 > APIキーに移動し、プロバイダーキーを追加すると即座に暗号化されます
  3. オープンソース:カスタムベースURL(例:http://your-vllm-server:8000/v1)とモデル名を入力
  4. 自動検出:OllamaまたはvLLMがローカルで実行されている場合、モデルが自動的に表示されます

マルチプロバイダーモデルアクセスはすべてのプランでご利用いただけます。OpenAI互換エンドポイントとモデルレコメンデーションエンジンはPro以上でご利用いただけます。認定モデルレジストリと自動検出はEnterprise機能です。

マルチプロバイダーモデルサポートを詳しく見るか、無料トライアルを開始することができます。

byom byok multi-provider open-source llama deepseek vllm ollama model-selection
この記事をシェアする

この記事はお役に立ちましたか?

ワークフローのヒント、製品アップデート、自動化ガイドをメールでお届けします。

No spam. Unsubscribe anytime.