有些组织无法将资料传送给 OpenAI、Anthropic 或 Google。不是因为模型不够好——而是因为资料不能离开大楼。
处理病历的医疗系统。处理交易资料的金融机构。处理机密资讯的国防承包商。受资料主权法规约束的政府机关。对于这些组织而言,AI 自动化的承诺总是带着一个附注:只要您愿意将资料传送到云端 API。
JieGou 消除了这个附注。
什么改变了
两件事的汇聚让自建 AI 自动化变得实际可行:
开源模型迎头赶上。 Llama 4 Maverick、DeepSeek V3、Qwen 3 235B 和 Mistral 3 Large 在许多任务上提供了与 GPT-4o 相当甚至超越的品质。工具呼叫、结构化输出、长上下文视窗——企业工作流程需要的能力全都具备。
推理伺服器趋于成熟。 vLLM、Ollama、SGLang 和 LocalAI 提供了生产就绪的 OpenAI 相容 API。您只需将应用程式指向 http://localhost:8000/v1 而非 https://api.openai.com/v1,一切就能正常运作。
JieGou 现在支援任何 OpenAI 相容端点作为一级供应商。相同的配方系统、相同的工作流引擎、相同的评比对照、相同的审批闸门——只是在您自己的硬体上以您自己的模型运行。
运作方式
OpenAI 相容供应商
JieGou 以与对待 Anthropic、OpenAI 和 Google 相同的方式处理自订端点。当您在「设定 > API 金钥」中配置自订端点时,您需要提供:
- 端点 URL — 您的推理伺服器所在位置(例如
http://ollama:11434/v1) - 模型名称 — 要使用的模型(例如
llama3.3) - API 金钥 — 可选。大多数本地端点不需要。
从此之后,JieGou 的所有功能都可与您的模型搭配使用:配方、工作流程、评比对照、批次执行、多轮对话、结构化输出提取——全部都可以。
认证模型与社群模型
并非所有开源模型都能同等程度地处理 JieGou 的每项功能。工具呼叫、结构化 JSON 输出和长上下文处理需要特定的模型能力。我们测试并认证能可靠处理完整 JieGou 功能集的模型:
| 模型 | 规模 | 关键能力 |
|---|---|---|
| Llama 4 Maverick | 400B+ MoE | 工具呼叫、结构化输出、视觉、1M 上下文 |
| DeepSeek V3.2 | 671B MoE | 推理、程式码生成、结构化输出 |
| Qwen 3 235B | 235B MoE | 多语言、工具呼叫、结构化输出 |
| Mistral 3 Large | 123B | 视觉、工具呼叫、128K 上下文 |
认证模型在模型选择器中会显示绿色徽章。社群模型(其他所有模型)则显示灰色徽章并附带备注:「未认证——品质可能有所差异。」我们建议使用者在将社群模型投入生产之前,先透过评比对照将其与认证模型进行比较。
自动发现
JieGou 启动时会探测已知的本地端点:
http://ollama:11434— Docker 网路(共置的 Ollama 容器)http://localhost:11434— Ollama 预设埠http://localhost:8000— vLLM 预设埠
如果侦测到正在运行的推理伺服器,管理仪表板会显示横幅:「侦测到本地 LLM 端点」,并附带一键「设定」按钮,自动填入端点设定。
模型下载管理器
对于 Ollama 端点,JieGou 内建模型管理器。浏览认证模型列表,点击「拉取」,即可即时查看下载进度。无需终端机。
部署选项
选项一:Docker Compose 入门套件(最简单)
适用于评估或小型团队。只需一个 docker compose up 即可完成所有设定:
git clone https://github.com/JieGouAI/orion.git
cd orion/console/self-hosted-starter
cp .env.example .env
docker compose up -d
./models/pull-models.sh llama3.3
五分钟内即可建立一个可运作的 AI 自动化平台。JieGou 会自动侦测共置的 Ollama 实例。开启 http://localhost:3000 即可开始建构。
如需 GPU 加速:
docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d
选项二:混合 VPC 部署(企业级)
适用于希望使用 JieGou 托管控制平面(UI、排程、监控)但需要在本地执行的组织。VPC 执行代理在您的网路内运行,接收步骤执行请求,并使用您的本地 LLM 端点进行处理。控制平面永远不会接触到原始资料。
选项三:完整 Kubernetes 部署
适用于运行自有 K8s 丛集的大型组织。JieGou 提供 Helm chart(console/chart/),可与您现有的 vLLM 或 Ollama 服务一同部署。将自订端点配置为指向推理服务的内部 DNS 名称即可。
平台比较
JieGou 的自建方案与替代方案相比如何?
n8n 支援自建并有 Ollama 整合,但它是通用工作流程工具——并非专为 AI 自动化打造。没有认证模型注册表、没有用于比较模型品质的评比系统、没有部门优先的工作流程组织、没有审批闸门。
Zapier 和 Microsoft Copilot Studio 仅限云端。没有自建选项,就是这样。
LangChain/LangGraph 提供了建构模组但不是平台。您仍然需要自行建构 UI、使用者管理、排程、审批工作流程、品质监控及其他一切。那才是产品,不是一个函式库呼叫。
JieGou 是唯一将自建 AI 自动化与受监管行业所需企业功能结合的平台:RBAC、审批工作流程、稽核日志、合规预设和品质评比——全部在您的基础设施上运行。
下一步
我们正在大力投资自建体验:
- 模型效能基准测试 — 针对 JieGou 配方测试套件,为每个认证模型自动进行品质评分
- 推理成本计算器 — 根据您的特定工作负载,比较自建 GPU 成本与云端 API 定价
- 多 GPU 编排 — 根据能力需求将不同配方路由至不同模型
- 离线模型目录 — 为完全无网路存取的气隙环境提供预先打包的模型套件
开始使用
自建入门套件现已推出。克隆储存库、运行 Docker Compose、拉取模型,即可开始自动化。
如果您需要混合 VPC 部署或受监管行业的合规控制,请联系我们的销售团队了解企业方案。