Skip to content
產品

開源 LLM + JieGou:無需雲端依賴即可運行 AI 自動化

在自有基礎設施上部署 JieGou 搭配 Llama、DeepSeek、Qwen 和 Mistral。一份為無法將資料傳送至雲端的企業打造的實用離線 AI 自動化指南。

JT
JieGou Team
· · 3 分鐘閱讀

有些組織無法將資料傳送給 OpenAI、Anthropic 或 Google。不是因為模型不夠好——而是因為資料不能離開大樓。

處理病歷的醫療系統。處理交易資料的金融機構。處理機密資訊的國防承包商。受資料主權法規約束的政府機關。對於這些組織而言,AI 自動化的承諾總是帶著一個附註:只要您願意將資料傳送到雲端 API。

JieGou 消除了這個附註。

什麼改變了

兩件事的匯聚讓自建 AI 自動化變得實際可行:

開源模型迎頭趕上。 Llama 4 Maverick、DeepSeek V3、Qwen 3 235B 和 Mistral 3 Large 在許多任務上提供了與 GPT-4o 相當甚至超越的品質。工具呼叫、結構化輸出、長上下文視窗——企業工作流程需要的能力全都具備。

推理伺服器趨於成熟。 vLLM、Ollama、SGLang 和 LocalAI 提供了生產就緒的 OpenAI 相容 API。您只需將應用程式指向 http://localhost:8000/v1 而非 https://api.openai.com/v1,一切就能正常運作。

JieGou 現在支援任何 OpenAI 相容端點作為一級供應商。相同的配方系統、相同的工作流引擎、相同的評比對照、相同的審批閘門——只是在您自己的硬體上以您自己的模型運行。

運作方式

OpenAI 相容供應商

JieGou 以與對待 Anthropic、OpenAI 和 Google 相同的方式處理自訂端點。當您在「設定 > API 金鑰」中配置自訂端點時,您需要提供:

  • 端點 URL — 您的推理伺服器所在位置(例如 http://ollama:11434/v1
  • 模型名稱 — 要使用的模型(例如 llama3.3
  • API 金鑰 — 可選。大多數本地端點不需要。

從此之後,JieGou 的所有功能都可與您的模型搭配使用:配方、工作流程、評比對照、批次執行、多輪對話、結構化輸出提取——全部都可以。

認證模型與社群模型

並非所有開源模型都能同等程度地處理 JieGou 的每項功能。工具呼叫、結構化 JSON 輸出和長上下文處理需要特定的模型能力。我們測試並認證能可靠處理完整 JieGou 功能集的模型:

模型規模關鍵能力
Llama 4 Maverick400B+ MoE工具呼叫、結構化輸出、視覺、1M 上下文
DeepSeek V3.2671B MoE推理、程式碼生成、結構化輸出
Qwen 3 235B235B MoE多語言、工具呼叫、結構化輸出
Mistral 3 Large123B視覺、工具呼叫、128K 上下文

認證模型在模型選擇器中會顯示綠色徽章。社群模型(其他所有模型)則顯示灰色徽章並附帶備註:「未認證——品質可能有所差異。」我們建議使用者在將社群模型投入生產之前,先透過評比對照將其與認證模型進行比較。

自動發現

JieGou 啟動時會探測已知的本地端點:

  • http://ollama:11434 — Docker 網路(共置的 Ollama 容器)
  • http://localhost:11434 — Ollama 預設埠
  • http://localhost:8000 — vLLM 預設埠

如果偵測到正在運行的推理伺服器,管理儀表板會顯示橫幅:「偵測到本地 LLM 端點」,並附帶一鍵「設定」按鈕,自動填入端點設定。

模型下載管理器

對於 Ollama 端點,JieGou 內建模型管理器。瀏覽認證模型列表,點擊「拉取」,即可即時查看下載進度。無需終端機。

部署選項

選項一:Docker Compose 入門套件(最簡單)

適用於評估或小型團隊。只需一個 docker compose up 即可完成所有設定:

git clone https://github.com/JieGouAI/orion.git
cd orion/console/self-hosted-starter
cp .env.example .env
docker compose up -d
./models/pull-models.sh llama3.3

五分鐘內即可建立一個可運作的 AI 自動化平台。JieGou 會自動偵測共置的 Ollama 實例。開啟 http://localhost:3000 即可開始建構。

如需 GPU 加速:

docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d

選項二:混合 VPC 部署(企業級)

適用於希望使用 JieGou 託管控制平面(UI、排程、監控)但需要在本地執行的組織。VPC 執行代理在您的網路內運行,接收步驟執行請求,並使用您的本地 LLM 端點進行處理。控制平面永遠不會接觸到原始資料。

選項三:完整 Kubernetes 部署

適用於運行自有 K8s 叢集的大型組織。JieGou 提供 Helm chart(console/chart/),可與您現有的 vLLM 或 Ollama 服務一同部署。將自訂端點配置為指向推理服務的內部 DNS 名稱即可。

平台比較

JieGou 的自建方案與替代方案相比如何?

n8n 支援自建並有 Ollama 整合,但它是通用工作流程工具——並非專為 AI 自動化打造。沒有認證模型註冊表、沒有用於比較模型品質的評比系統、沒有部門優先的工作流程組織、沒有審批閘門。

ZapierMicrosoft Copilot Studio 僅限雲端。沒有自建選項,就是這樣。

LangChain/LangGraph 提供了建構模組但不是平台。您仍然需要自行建構 UI、使用者管理、排程、審批工作流程、品質監控及其他一切。那才是產品,不是一個函式庫呼叫。

JieGou 是唯一將自建 AI 自動化與受監管行業所需企業功能結合的平台:RBAC、審批工作流程、稽核日誌、合規預設和品質評比——全部在您的基礎設施上運行。

下一步

我們正在大力投資自建體驗:

  • 模型效能基準測試 — 針對 JieGou 配方測試套件,為每個認證模型自動進行品質評分
  • 推理成本計算器 — 根據您的特定工作負載,比較自建 GPU 成本與雲端 API 定價
  • 多 GPU 編排 — 根據能力需求將不同配方路由至不同模型
  • 離線模型目錄 — 為完全無網路存取的氣隙環境提供預先打包的模型套件

開始使用

自建入門套件現已推出。克隆儲存庫、運行 Docker Compose、拉取模型,即可開始自動化。

如果您需要混合 VPC 部署或受監管行業的合規控制,請聯繫我們的銷售團隊了解企業方案。

open-source self-hosted air-gapped ollama vllm enterprise llm compliance
分享這篇文章

喜歡這篇文章嗎?

在您的信箱中獲取工作流程技巧、產品更新和自動化指南。

No spam. Unsubscribe anytime.