AI-Employe：用 GPT-4 Vision 教浏览器"看懂"你的意图

从"写脚本"到"教操作"：浏览器自动化的范式转变

你是否有这样的困扰：每周都要重复登录某个系统、填写固定表单、截图存档——这些机械操作占用了大量时间，却又不足以专门写一个自动化脚本。市面上的浏览器自动化工具，要么需要编写 XPath 或 CSS 选择器，要么依赖截图比对，操作复杂、调试耗时。

AI-Employe 尝试用一种更直觉的方式解决这个问题：不需要写代码，只需要像教新人一样，告诉 AI 你想做什么，然后看着它模仿你的操作。GitHub 获得 585 颗星，以 AGPL-3.0 开源。

背景故事：一个印度独立开发者的"数字员工"梦

AI-Employe 由独立开发者 vignshwarar 创建，核心理念是打造一个可训练的"数字员工"。与传统的 RPA（机器人流程自动化）不同，这里的"培训师"是 GPT-4 Vision，AI 通过视觉理解页面，再结合用户记录的 Workflow 来执行任务。

这类工具的出现背景很清晰：浏览器是现代互联网的核心界面，但自动化浏览器操作一直是个技术门槛较高的事情。GPT-4 Vision 的多模态能力让"看图理解页面"成为可能，这为浏览器自动化打开了新的大门。

技术原理：两招解决"幻觉"问题

AI-Employe 最大的技术贡献，是解决了传统 AI 浏览器控制方案中的两个核心难题。

难题一：AI 找不到正确的页面元素。 传统的做法是让 AI 直接看 HTML 或截图，但 GPT-4 经常"幻觉"出不存在按钮或输入框——它会自信地告诉你"我已经点击了提交按钮"，但实际上页面根本没有那个按钮。

AI-Employe 的解决思路借鉴了 RAG（检索增强生成）：不再让 AI 凭空猜测，而是先把整个 DOM 树索引到 MeiliSearch 搜索引擎中。当 AI 需要操作某个元素时，先让 GPT-4 Vision 生成描述性文本（如"点击红色提交按钮"），再用这个描述去 MeiliSearch 中检索匹配的 DOM 元素 ID，然后才真正执行操作。这样 AI 找到的元素是真实存在的，而不是幻觉。

难题二：AI 在长任务中跑偏。 即便元素找对了，GPT 在执行多步任务时也容易"发散"，去做一些不在计划内的事情。

解决方法是"Actions Augmented Generation"——用户录制 Workflow 时，系统记录的不是屏幕录像，而是每个操作对应的 DOM 变化（点击了哪个元素、输入了什么内容）。这些 DOM 变化配合 Workflow 标题和目标，一起作为上下文嵌入（embedding）到 prompt 中。每执行一步，AI 都能参考"前人是如何在这个网站上完成类似操作的"，从而保持任务方向不偏离。

架构解析：Chrome 扩展 + Next.js + Rust 后端

AI-Employe 采用三部分架构：

关键依赖包括：Diesel ORM 连接 PostgreSQL 数据库；MeiliSearch SDK 做全文搜索；Firebase Auth 提供身份认证；scraper 库做 DOM 解析。Rust 后端提供了高性能的搜索查询能力，确保 DOM 索引和检索在毫秒级完成。

整个系统没有 Docker 支持，部署需要分别配置 Chrome 扩展、Web 前端和 Rust 后端，还要自行申请 Firebase 项目和 API 密钥，门槛较高。

核心功能体验

Workflow 录制：用户在浏览器中操作一遍，系统自动记录 DOM 变化轨迹，生成可重复执行的任务序列。这个过程不需要写代码，像录屏一样直观。

"看你所见"对话：用户可以对当前页面截图，用自然语言向 AI 提问或下达指令，AI 通过 GPT-4 Vision 理解页面内容后操作执行。

跨网站泛化：由于采用了 MeiliSearch 检索 + DOM embedding 的方案，AI 对不同网站的适应能力比传统方法更强，不会因为按钮换了 class 名就找不到。

局限与争议

当前版本局限性明显：只支持 Chrome 扩展，其他浏览器无法使用；尚未支持循环、滚动、新标签页等常见操作；依赖 OpenAI GPT-4 API，不支持本地模型或开源模型替代；Firebase 强依赖云服务，纯离线场景无法使用。

此外，AGPL-3.0 许可证要求衍生作品也必须开源，对商业产品集成有较大限制。

行业意义

AI-Employe 代表了浏览器自动化领域的一个新兴方向：用多模态 AI + 搜索引擎替代传统的规则匹配。它的"MeiliSearch 索引 DOM + RAG 检索元素"的技术路径，为解决 AI 浏览器控制的"幻觉"问题提供了一种可复现的工程方案。随着 GPT-4o 等原生多模态模型的成熟，以及浏览器控制能力的提升，这类工具的上限还有很大想象空间。