Skip to content
产品

开源 LLM + JieGou:无需云端依赖即可运行 AI 自动化

在自有基础设施上部署 JieGou 搭配 Llama、DeepSeek、Qwen 和 Mistral。一份为无法将资料传送至云端的企业打造的实用离线 AI 自动化指南。

JT
JieGou Team
· · 3 分钟阅读

有些组织无法将资料传送给 OpenAI、Anthropic 或 Google。不是因为模型不够好——而是因为资料不能离开大楼。

处理病历的医疗系统。处理交易资料的金融机构。处理机密资讯的国防承包商。受资料主权法规约束的政府机关。对于这些组织而言,AI 自动化的承诺总是带着一个附注:只要您愿意将资料传送到云端 API。

JieGou 消除了这个附注。

什么改变了

两件事的汇聚让自建 AI 自动化变得实际可行:

开源模型迎头赶上。 Llama 4 Maverick、DeepSeek V3、Qwen 3 235B 和 Mistral 3 Large 在许多任务上提供了与 GPT-4o 相当甚至超越的品质。工具呼叫、结构化输出、长上下文视窗——企业工作流程需要的能力全都具备。

推理伺服器趋于成熟。 vLLM、Ollama、SGLang 和 LocalAI 提供了生产就绪的 OpenAI 相容 API。您只需将应用程式指向 http://localhost:8000/v1 而非 https://api.openai.com/v1,一切就能正常运作。

JieGou 现在支援任何 OpenAI 相容端点作为一级供应商。相同的配方系统、相同的工作流引擎、相同的评比对照、相同的审批闸门——只是在您自己的硬体上以您自己的模型运行。

运作方式

OpenAI 相容供应商

JieGou 以与对待 Anthropic、OpenAI 和 Google 相同的方式处理自订端点。当您在「设定 > API 金钥」中配置自订端点时,您需要提供:

  • 端点 URL — 您的推理伺服器所在位置(例如 http://ollama:11434/v1
  • 模型名称 — 要使用的模型(例如 llama3.3
  • API 金钥 — 可选。大多数本地端点不需要。

从此之后,JieGou 的所有功能都可与您的模型搭配使用:配方、工作流程、评比对照、批次执行、多轮对话、结构化输出提取——全部都可以。

认证模型与社群模型

并非所有开源模型都能同等程度地处理 JieGou 的每项功能。工具呼叫、结构化 JSON 输出和长上下文处理需要特定的模型能力。我们测试并认证能可靠处理完整 JieGou 功能集的模型:

模型规模关键能力
Llama 4 Maverick400B+ MoE工具呼叫、结构化输出、视觉、1M 上下文
DeepSeek V3.2671B MoE推理、程式码生成、结构化输出
Qwen 3 235B235B MoE多语言、工具呼叫、结构化输出
Mistral 3 Large123B视觉、工具呼叫、128K 上下文

认证模型在模型选择器中会显示绿色徽章。社群模型(其他所有模型)则显示灰色徽章并附带备注:「未认证——品质可能有所差异。」我们建议使用者在将社群模型投入生产之前,先透过评比对照将其与认证模型进行比较。

自动发现

JieGou 启动时会探测已知的本地端点:

  • http://ollama:11434 — Docker 网路(共置的 Ollama 容器)
  • http://localhost:11434 — Ollama 预设埠
  • http://localhost:8000 — vLLM 预设埠

如果侦测到正在运行的推理伺服器,管理仪表板会显示横幅:「侦测到本地 LLM 端点」,并附带一键「设定」按钮,自动填入端点设定。

模型下载管理器

对于 Ollama 端点,JieGou 内建模型管理器。浏览认证模型列表,点击「拉取」,即可即时查看下载进度。无需终端机。

部署选项

选项一:Docker Compose 入门套件(最简单)

适用于评估或小型团队。只需一个 docker compose up 即可完成所有设定:

git clone https://github.com/JieGouAI/orion.git
cd orion/console/self-hosted-starter
cp .env.example .env
docker compose up -d
./models/pull-models.sh llama3.3

五分钟内即可建立一个可运作的 AI 自动化平台。JieGou 会自动侦测共置的 Ollama 实例。开启 http://localhost:3000 即可开始建构。

如需 GPU 加速:

docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d

选项二:混合 VPC 部署(企业级)

适用于希望使用 JieGou 托管控制平面(UI、排程、监控)但需要在本地执行的组织。VPC 执行代理在您的网路内运行,接收步骤执行请求,并使用您的本地 LLM 端点进行处理。控制平面永远不会接触到原始资料。

选项三:完整 Kubernetes 部署

适用于运行自有 K8s 丛集的大型组织。JieGou 提供 Helm chart(console/chart/),可与您现有的 vLLM 或 Ollama 服务一同部署。将自订端点配置为指向推理服务的内部 DNS 名称即可。

平台比较

JieGou 的自建方案与替代方案相比如何?

n8n 支援自建并有 Ollama 整合,但它是通用工作流程工具——并非专为 AI 自动化打造。没有认证模型注册表、没有用于比较模型品质的评比系统、没有部门优先的工作流程组织、没有审批闸门。

ZapierMicrosoft Copilot Studio 仅限云端。没有自建选项,就是这样。

LangChain/LangGraph 提供了建构模组但不是平台。您仍然需要自行建构 UI、使用者管理、排程、审批工作流程、品质监控及其他一切。那才是产品,不是一个函式库呼叫。

JieGou 是唯一将自建 AI 自动化与受监管行业所需企业功能结合的平台:RBAC、审批工作流程、稽核日志、合规预设和品质评比——全部在您的基础设施上运行。

下一步

我们正在大力投资自建体验:

  • 模型效能基准测试 — 针对 JieGou 配方测试套件,为每个认证模型自动进行品质评分
  • 推理成本计算器 — 根据您的特定工作负载,比较自建 GPU 成本与云端 API 定价
  • 多 GPU 编排 — 根据能力需求将不同配方路由至不同模型
  • 离线模型目录 — 为完全无网路存取的气隙环境提供预先打包的模型套件

开始使用

自建入门套件现已推出。克隆储存库、运行 Docker Compose、拉取模型,即可开始自动化。

如果您需要混合 VPC 部署或受监管行业的合规控制,请联系我们的销售团队了解企业方案。

open-source self-hosted air-gapped ollama vllm enterprise llm compliance
分享这篇文章

喜欢这篇文章吗?

在您的信箱中获取工作流程技巧、产品更新和自动化指南。

No spam. Unsubscribe anytime.