有些組織無法將資料傳送給 OpenAI、Anthropic 或 Google。不是因為模型不夠好——而是因為資料不能離開大樓。
處理病歷的醫療系統。處理交易資料的金融機構。處理機密資訊的國防承包商。受資料主權法規約束的政府機關。對於這些組織而言,AI 自動化的承諾總是帶著一個附註:只要您願意將資料傳送到雲端 API。
JieGou 消除了這個附註。
什麼改變了
兩件事的匯聚讓自建 AI 自動化變得實際可行:
開源模型迎頭趕上。 Llama 4 Maverick、DeepSeek V3、Qwen 3 235B 和 Mistral 3 Large 在許多任務上提供了與 GPT-4o 相當甚至超越的品質。工具呼叫、結構化輸出、長上下文視窗——企業工作流程需要的能力全都具備。
推理伺服器趨於成熟。 vLLM、Ollama、SGLang 和 LocalAI 提供了生產就緒的 OpenAI 相容 API。您只需將應用程式指向 http://localhost:8000/v1 而非 https://api.openai.com/v1,一切就能正常運作。
JieGou 現在支援任何 OpenAI 相容端點作為一級供應商。相同的配方系統、相同的工作流引擎、相同的評比對照、相同的審批閘門——只是在您自己的硬體上以您自己的模型運行。
運作方式
OpenAI 相容供應商
JieGou 以與對待 Anthropic、OpenAI 和 Google 相同的方式處理自訂端點。當您在「設定 > API 金鑰」中配置自訂端點時,您需要提供:
- 端點 URL — 您的推理伺服器所在位置(例如
http://ollama:11434/v1) - 模型名稱 — 要使用的模型(例如
llama3.3) - API 金鑰 — 可選。大多數本地端點不需要。
從此之後,JieGou 的所有功能都可與您的模型搭配使用:配方、工作流程、評比對照、批次執行、多輪對話、結構化輸出提取——全部都可以。
認證模型與社群模型
並非所有開源模型都能同等程度地處理 JieGou 的每項功能。工具呼叫、結構化 JSON 輸出和長上下文處理需要特定的模型能力。我們測試並認證能可靠處理完整 JieGou 功能集的模型:
| 模型 | 規模 | 關鍵能力 |
|---|---|---|
| Llama 4 Maverick | 400B+ MoE | 工具呼叫、結構化輸出、視覺、1M 上下文 |
| DeepSeek V3.2 | 671B MoE | 推理、程式碼生成、結構化輸出 |
| Qwen 3 235B | 235B MoE | 多語言、工具呼叫、結構化輸出 |
| Mistral 3 Large | 123B | 視覺、工具呼叫、128K 上下文 |
認證模型在模型選擇器中會顯示綠色徽章。社群模型(其他所有模型)則顯示灰色徽章並附帶備註:「未認證——品質可能有所差異。」我們建議使用者在將社群模型投入生產之前,先透過評比對照將其與認證模型進行比較。
自動發現
JieGou 啟動時會探測已知的本地端點:
http://ollama:11434— Docker 網路(共置的 Ollama 容器)http://localhost:11434— Ollama 預設埠http://localhost:8000— vLLM 預設埠
如果偵測到正在運行的推理伺服器,管理儀表板會顯示橫幅:「偵測到本地 LLM 端點」,並附帶一鍵「設定」按鈕,自動填入端點設定。
模型下載管理器
對於 Ollama 端點,JieGou 內建模型管理器。瀏覽認證模型列表,點擊「拉取」,即可即時查看下載進度。無需終端機。
部署選項
選項一:Docker Compose 入門套件(最簡單)
適用於評估或小型團隊。只需一個 docker compose up 即可完成所有設定:
git clone https://github.com/JieGouAI/orion.git
cd orion/console/self-hosted-starter
cp .env.example .env
docker compose up -d
./models/pull-models.sh llama3.3
五分鐘內即可建立一個可運作的 AI 自動化平台。JieGou 會自動偵測共置的 Ollama 實例。開啟 http://localhost:3000 即可開始建構。
如需 GPU 加速:
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d
選項二:混合 VPC 部署(企業級)
適用於希望使用 JieGou 託管控制平面(UI、排程、監控)但需要在本地執行的組織。VPC 執行代理在您的網路內運行,接收步驟執行請求,並使用您的本地 LLM 端點進行處理。控制平面永遠不會接觸到原始資料。
選項三:完整 Kubernetes 部署
適用於運行自有 K8s 叢集的大型組織。JieGou 提供 Helm chart(console/chart/),可與您現有的 vLLM 或 Ollama 服務一同部署。將自訂端點配置為指向推理服務的內部 DNS 名稱即可。
平台比較
JieGou 的自建方案與替代方案相比如何?
n8n 支援自建並有 Ollama 整合,但它是通用工作流程工具——並非專為 AI 自動化打造。沒有認證模型註冊表、沒有用於比較模型品質的評比系統、沒有部門優先的工作流程組織、沒有審批閘門。
Zapier 和 Microsoft Copilot Studio 僅限雲端。沒有自建選項,就是這樣。
LangChain/LangGraph 提供了建構模組但不是平台。您仍然需要自行建構 UI、使用者管理、排程、審批工作流程、品質監控及其他一切。那才是產品,不是一個函式庫呼叫。
JieGou 是唯一將自建 AI 自動化與受監管行業所需企業功能結合的平台:RBAC、審批工作流程、稽核日誌、合規預設和品質評比——全部在您的基礎設施上運行。
下一步
我們正在大力投資自建體驗:
- 模型效能基準測試 — 針對 JieGou 配方測試套件,為每個認證模型自動進行品質評分
- 推理成本計算器 — 根據您的特定工作負載,比較自建 GPU 成本與雲端 API 定價
- 多 GPU 編排 — 根據能力需求將不同配方路由至不同模型
- 離線模型目錄 — 為完全無網路存取的氣隙環境提供預先打包的模型套件
開始使用
自建入門套件現已推出。克隆儲存庫、運行 Docker Compose、拉取模型,即可開始自動化。
如果您需要混合 VPC 部署或受監管行業的合規控制,請聯繫我們的銷售團隊了解企業方案。