Skip to content
产品

您的浏览器有了 AI 副驾驶:对话、指令与自主浏览

JieGou 浏览器扩充功能现已内建 AI 对话面板、Cmd+Shift+K 指令面板、带有工具审批的自主浏览,以及流程录制功能。这是一个住在您工作场所的 AI 助手。

JT
JieGou Team
· · 4 分钟阅读

当我们最初推出 JieGou 浏览器扩充功能时,它是一个工具执行器。Recipe 和 workflow 可以透过 Model Context Protocol 调用 60 多种浏览器自动化工具——点击、读取、填写表单。功能强大,但属于被动式。扩充功能只会在 recipe 指示时才执行动作。

如今,扩充功能已成为一个独立的 AI 助手。开启侧边面板,针对您正在浏览的页面提出问题,即可获得理解萤幕内容的回答。使用指令面板一键执行动作。让代理自主接管浏览器进行操作。录制您的浏览器互动并在之后重播。

具备页面感知的 AI 对话

点击扩充功能图示或使用键盘快捷键开启侧边面板。输入问题,AI 会在完全理解您当前页面的前提下做出回应。

扩充功能不仅仅读取 URL。它会提取页面的文字内容(最多 8,000 个字元),并侦测您正在使用的平台——Gmail、Slack、Jira、Salesforce、Confluence、ServiceNow、LinkedIn 或 HubSpot。平台侦测会触发专门的上下文提取,因此 AI 能理解您正在查看的是一张 Jira 工作项或一个 Gmail 对话串,而不仅仅是一个普通网页。

对话记录在面板开关之间持续保留。关闭侧边面板、浏览其他页面、重新开启——您的聊天记录仍在。最多 50 条讯息会储存在您的浏览器本机,除非您明确要求 AI 执行操作,否则任何资料都不会离开您的装置。

提供两种模式:标准对话模式用于问答,代理模式用于多步骤操作(详见下文)。只需一次点击即可在两者之间切换。

指令面板:Cmd+Shift+K

按下 Cmd+Shift+K(Mac)或 Ctrl+Shift+K(Windows/Linux),会出现一个可搜寻的指令面板,内含 10 个内建动作:

页面操作:

  • 撷取页面截图 — 将可见视窗撷取为 PNG 并复制到剪贴簿
  • 复制为 Markdown — 将页面内容提取为整洁的 Markdown 格式
  • 提取所有连结 — 撷取页面中的所有连结
  • 表格汇出为 CSV — 将 HTML 表格转换为 CSV 格式
  • 储存至记事本 — 将内容储存到本机储存空间以便稍后使用

AI 操作:

  • 摘要页面 — AI 生成当前页面的摘要
  • 提取结构化资料 — 从非结构化内容中撷取结构化资讯
  • 草拟回复 — 生成上下文相关的回复(适用于电子邮件和对话串)
  • 解释此内容 — 以浅显易懂的方式解释技术内容

导览:

  • 搜寻已开启的分页 — 在所有已开启的浏览器分页中进行模糊搜寻

输入文字进行筛选,使用方向键导览,按 Enter 执行。结果会自动复制到您的剪贴簿。

除了内建动作之外,您还可以建立自订动作。定义一个包含 {selectedText}{pageUrl}{pageTitle} 等变数的提示范本,您的动作就会与预设动作一起出现在指令面板中。如果您的团队有标准化的方式来摘要客服工单或从会议记录中提取待办事项,将其储存为自订动作,就能随时一键调用。

自主浏览

标准对话模式回答问题。代理模式则主动执行操作。

当您启用代理模式时,AI 会进入多轮回圈。它可以提议浏览器工具调用——点击这个按钮、填写那个表单、导览到另一个页面——扩充功能会在您批准后执行这些操作。

以下是审批流程的运作方式:

  1. 您输入指令:「找到我信箱中最新的发票,并转寄给 accounting@company.com
  2. AI 规划其方法并提议工具调用:导览到 Gmail、搜寻「发票」、开启最新结果
  3. 每个工具调用会以卡片形式显示动作名称和参数。唯读工具(读取页面内容、撷取截图)会自动执行。变更工具(点击、输入、导览)则等待您的批准。
  4. 逐一批准,或点击「全部批准」让代理执行剩余步骤。

代理最多执行 10 个回合后会暂停,因此不会无限回圈。您可以随时停止。

从技术角度来看,扩充功能充当客户端编排器。它将对话上下文发送到 JieGou 伺服器,伺服器将请求代理转发给 LLM。LLM 的工具调用提议透过 Server-Sent Events 串流回传。扩充功能解析串流,将每个工具调用分类为唯读或变更操作,并在本机处理审批流程。工具执行完全在您的浏览器中进行——伺服器永远不会看到页面内容。

流程录制与重播

有时您不需要 AI 来决定该做什么——您只需要它重复您已经做过的事情。

在侧边面板中点击「录制」,然后正常使用您的浏览器。点击按钮、填写表单、在页面之间导览。扩充功能会将每次互动撷取为结构化步骤:点击、填写、卷动、键盘输入、分页切换。

当您停止录制时,就会获得一个可重播的流程。每个步骤都对应一个浏览器自动化工具调用(chrome_click_elementchrome_fill_or_select 等),因此重播使用的是与 recipe 和 workflow 相同的可靠自动化基础架构。

流程支援:

  • 变数 — 使用 {{variableName}} 占位符将步骤参数化。登入流程可以透过将使用者名称和密码转换为变数,在不同帐户间重复使用。
  • 速度控制 — 以 0.5 倍、1 倍或 2 倍速播放
  • 逐步模式 — 每个步骤后暂停以进行验证
  • 错误时继续 — 可选择跳过失败的步骤而非停止
  • 执行历史 — 每次重播都会记录每个步骤的成功/失败状态、计时和错误详情

流程储存在本机的 IndexedDB 中——基本的录制和重播不依赖云端。您可以将流程汇出为 JSON 档案与团队成员分享,或在另一台电脑上汇入使用。

平台专用智慧

AI 助手继承了扩充功能的所有 60 多种浏览器自动化工具,以及针对六个企业应用程式的平台专用处理器:

  • Gmail — 读取对话串、撰写电子邮件、搜寻收件匣
  • Slack — 读取讯息、发布到频道
  • Jira — 建立问题、更新工作项、读取冲刺资料
  • Salesforce — 读取和更新记录
  • ServiceNow — 管理事件
  • HubSpot — 存取联络人和行销活动

这些处理器理解每个平台的 DOM 结构,因此 AI 在语意层级上运作——「读取 Sarah 最新的电子邮件」,而不是「点击选择器 div.adn.ads > div:nth-child(3) 的元素」。

隐私与安全

AI 助手在您的浏览器中运行。页面内容在本机提取,只有在您提出问题或触发操作时才会发送给 LLM。BYOK 适用——如果您使用自己的 API 金钥,资料会直接在您的浏览器和 LLM 供应商之间流动。

聊天记录、录制的流程、自订动作和设定全部储存在您浏览器的本机储存空间中。除非是 recipe 或 workflow 执行的一部分,否则不会同步到 JieGou 的伺服器。

开始使用

将您的 JieGou 浏览器扩充功能更新至最新版本。AI 对话面板、指令面板和录制功能即刻可用。代理模式适用于 Pro 方案及以上。深入了解浏览器扩充功能从扩充功能商店安装

browser-extension ai-assistant command-palette agentic-browsing flow-recording
分享这篇文章

喜欢这篇文章吗?

在您的信箱中获取工作流程技巧、产品更新和自动化指南。

No spam. Unsubscribe anytime.