Awesome Web Agents — AI 网页 Agent 全景图谱

项目地址: steel-dev/awesome-web-agents · ⭐ 1,467 · Python · MIT License 维护者: Steel Dev（@steeldotdev） · 2025年3月创建 姊妹项目: steel-browser（Steel 开源浏览器 API）

Steel 浏览器 API 官网横幅

图1：Steel 官网横幅 — 展示了 Steel 浏览器 API 的核心定位（来源: steel-dev/awesome-web-agents 仓库）

一、痛点切入：当 AI 想要"上网冲浪"

你训练了一个强大的大语言模型（LLM），它能写诗、解题、写代码——但当你让它"去帮我查一下今天北京的天气"，它却犯难了。

这不是模型的错。网页对 AI 来说是黑箱：HTML 结构复杂、CSS 样式层叠、JavaScript 动态渲染，而传统 API 只能让 AI 访问结构化数据，碰不到真正的"浏览器世界"。就像给一位精通多国语言的翻译官一本字典，却不让他上网——他的能力被锁住了。

Awesome Web Agents 正是这个痛点的产物。这个由 Steel Dev 团队维护的精选列表，收录了 100+ 个让 AI 能够"看网页、点按钮、填表单"的工具和框架，从 OpenAI Operator 到 Browser-Use，从阿里通义 WebAgent 到各大厂的 Benchmark 工具，一站式覆盖 AI 与 Web 交互的完整生态。

二、Steel 团队与项目背景

这个列表的创建者 Steel Dev（GitHub: @steeldotdev）是一家专注 AI 浏览器基础设施的公司。2025年3月，他们开源了 steel-browser——一个专为 AI Agent 设计的浏览器 API 引擎，使得 AI 可以像真实用户一样操控 Chrome：无障碍执行点击、输入、滚动、截图等操作。

Steel 的商业产品 app.steel.dev 提供免费层额度，让开发者无需自己部署浏览器集群即可体验 AI 网页操控能力。作为项目生态的一部分，awesome-web-agents 列表既是技术选型的参考手册，也间接为 Steel 的商业产品引流——形成了"开源社区 + 商业闭环"的典型商业模式。

三、核心功能：100+ 工具全景分类

Awesome Web Agents 将生态划分为以下主要类别：

Autonomous Web Agents（自主浏览器 Agent）：收录 28 个能够独立在网页上完成复杂任务的 AI Agent，是整个列表最核心的分类。

AI Web Automation Tools（AI 自动化工具）：收录 39 个，面向开发者集成层面，提供 API 或 SDK 供二次开发。

Benchmarks & Research（基准测试与研究）：收录 16 个，覆盖 WorkArena、WebTaskBench、BrowserGym 等行业评测标准。

AI Web Scrapers/Crawlers（AI 爬虫）：收录 9 个，专注用 LLM 提取网页结构化数据。

Web Search & Query Tools（搜索工具）：收录 6 个，帮助 Agent 高效检索网络信息。

Tutorials & Guides（教程与指南）：收录 4 个，帮助开发者快速上手。

3.1 自主浏览器 Agent 代表工具

工具	特点	GitHub Stars
Browser-Use	SOTA 开源框架，通过 DOM 蒸馏让 LLM 理解页面结构	⭐ 12k+
Skyvern-AI	基于工作流的浏览器自动化，支持复杂多步骤流程	⭐ 8k+
AgentGPT	浏览器内部署的自主 Agent，用户门槛极低	⭐ 38k+
OpenAI Operator	OpenAI 官方推出的浏览器 Agent（需 Plus 订阅）	—
Google Project Mariner	Google DeepMind 研究原型，基于 Chrome 扩展	—
Manus	通用 AI Agent，支持浏览器+终端+编辑器多工具协作	—
WebVoyager	多模态视觉 Agent，截图+DOM 双通道感知	⭐ 2k+
Agent-E	HTML DOM 蒸馏优化，减少 token 消耗	⭐ 1k+

3.2 Computer-use Agent

以 Anthropic Claude Computer Use 为代表的"操控整台电脑"的 Agent 范式。相比浏览器 Agent，这类 Agent 的操控范围扩展到了整个操作系统（文件操作、桌面应用、终端命令等），代表项目包括：

Open Interpreter：在本地电脑上运行，支持多模态模型
Self-Operating Computer Framework：让 AI 接管操作系统 GUI
UI-TARS：字节跳动的视觉 Agent，在 Android/iOS/Windows/macOS 多端测试

3.3 企业级工具

PulsarRPA：企业级 RPA + AI 爬虫，支持大规模并行
WorkArena：ServiceNow 推出的任务型 Benchmark，含 200+ 真实业务场景
BrowserGym：Browser Agent 评测框架，支持多 Agent 并行评测

四、技术架构：从"爬虫"到"Agent"的分层演进

Awesome Web Agents 列表本身是一个静态文档，但它折射出整个 AI Web 交互领域的技术演进路径。从架构层面看，这个生态可以分为四层：

第一层：爬虫/数据提取（最底层）：传统 AI + Web 的起点，用 LLM 分析网页结构提取产品信息、价格数据、新闻内容。代表工具：LLM Scraper、PulsarRPA。

第二层：浏览器自动化：Playwright/Selenium 的 AI 升级版。AI 不再只是"读"网页，而是通过 CDP（Chrome DevTools Protocol）模拟真实用户操作：点击、滚动、输入、拖拽。代表工具：Skyvern-AI、Browser-Use。

第三层：多模态 Browser Agent：不仅理解 HTML 文本，还分析页面截图，建立对视觉布局的理解。这类 Agent 能处理复杂页面（如 CAPTCHA、表单验证弹窗），代表工具：WebVoyager、UI-TARS。

第四层：通用 Computer Agent：将 Web 操作泛化为"操作系统操作"，AI 可以在文件管理器、终端、IDE 之间自由切换。代表工具：Manus、Open Interpreter。

五、部署方式：推荐直接使用

维度	说明
部署难度	零部署：本项目是静态精选列表，无需安装
使用方式	直接浏览 GitHub 页面，或访问 app.steel.dev 体验配套工具
硬件需求	无（静态资源）
快速体验	Surf.new 提供 Web UI，可以在线对比多个 Web Agent 的效果

六、局限与争议

6.1 维护质量参差不齐

列表收录了 100+ 工具，但部分工具已长时间未更新（Archive 分类收录了废弃项目）。建议读者交叉验证工具的 GitHub 最新提交时间和 Issue 活跃度。

6.2 商业工具与开源工具混杂

列表同时收录了 OpenAI Operator（需订阅）、Manus（商业产品）等商业工具，以及 Browser-Use（开源）等。对于预算有限的开发者，需要注意区分哪些是真正可免费使用的。

6.3 Benchmark 有效性存疑

各基准的评测方法论差异较大，横向可比性有限。Anthropic 和 OpenAI 的 Computer Use 评测标准也不公开，导致"谁是 SOTA"难以定论。

七、行业意义与趋势

7.1 生态快速增长

从 2025 年 3 月创建至今不到一年，列表已收录超过 100 个工具，涵盖 Autonomous Agent、多模态 Agent、Computer Use 三大范式。这个速度说明Web Agent 是当前 AI 应用最热门的方向之一。

7.2 关键技术瓶颈

DOM token 消耗：现代网页 DOM 节点可达数万个，远超 LLM context window 上限。Browser-Use 的 DOM 蒸馏、Agent-E 的 HTML 压缩都是针对此问题的优化方案。
多标签/多窗口管理：真实用户的 Web 任务往往需要跨标签页操作，而大多数 Agent 目前只能处理单标签。
视觉 vs 文本感知：纯文本 Agent 容易被复杂 CSS 样式欺骗，多模态 Agent 效果更好但成本更高。

7.3 代表趋势

从"读网页"到"操控网页"：爬虫类工具正在向 Agent 化演进，LLM Scraper → PulsarRPA → Browser-Use 是一条典型进化路径。
Benchmark 标准化：WorkArena 和 BrowserGym 正在建立行业评测标准，未来 Agent 选型将有据可依。
开源 vs 商业分化：开源工具在灵活性和隐私性上占优；商业工具在体验和可靠性上领先。

本文图片说明：steel_hero.png 为 Steel 官方维护的仓库横幅图，托管于 GitHub raw 资源；Steel 品牌标识来自 avatars.githubusercontent.com/u/164206247。

标签: AI Agent · Web Automation · Browser Agent · LLM · Computer Use · Awesome List

Awesome Web Agents — AI 网页 Agent 全景图谱

项目地址: steel-dev/awesome-web-agents · ⭐ 1,467 · Python · MIT License 维护者: Steel Dev（@steeldotdev） · 2025年3月创建 姊妹项目: steel-browser（Steel 开源浏览器 API）

Steel 浏览器 API 官网横幅

图1：Steel 官网横幅 — 展示了 Steel 浏览器 API 的核心定位（来源: steel-dev/awesome-web-agents 仓库）

一、痛点切入：当 AI 想要"上网冲浪"

你训练了一个强大的大语言模型（LLM），它能写诗、解题、写代码——但当你让它"去帮我查一下今天北京的天气"，它却犯难了。

二、Steel 团队与项目背景

三、核心功能：100+ 工具全景分类

Awesome Web Agents 将生态划分为以下主要类别：

Autonomous Web Agents（自主浏览器 Agent）：收录 28 个能够独立在网页上完成复杂任务的 AI Agent，是整个列表最核心的分类。

AI Web Automation Tools（AI 自动化工具）：收录 39 个，面向开发者集成层面，提供 API 或 SDK 供二次开发。

Benchmarks & Research（基准测试与研究）：收录 16 个，覆盖 WorkArena、WebTaskBench、BrowserGym 等行业评测标准。

AI Web Scrapers/Crawlers（AI 爬虫）：收录 9 个，专注用 LLM 提取网页结构化数据。

Web Search & Query Tools（搜索工具）：收录 6 个，帮助 Agent 高效检索网络信息。

Tutorials & Guides（教程与指南）：收录 4 个，帮助开发者快速上手。

3.1 自主浏览器 Agent 代表工具

工具	特点	GitHub Stars
Browser-Use	SOTA 开源框架，通过 DOM 蒸馏让 LLM 理解页面结构	⭐ 12k+
Skyvern-AI	基于工作流的浏览器自动化，支持复杂多步骤流程	⭐ 8k+
AgentGPT	浏览器内部署的自主 Agent，用户门槛极低	⭐ 38k+
OpenAI Operator	OpenAI 官方推出的浏览器 Agent（需 Plus 订阅）	—
Google Project Mariner	Google DeepMind 研究原型，基于 Chrome 扩展	—
Manus	通用 AI Agent，支持浏览器+终端+编辑器多工具协作	—
WebVoyager	多模态视觉 Agent，截图+DOM 双通道感知	⭐ 2k+
Agent-E	HTML DOM 蒸馏优化，减少 token 消耗	⭐ 1k+

3.2 Computer-use Agent

Open Interpreter：在本地电脑上运行，支持多模态模型
Self-Operating Computer Framework：让 AI 接管操作系统 GUI
UI-TARS：字节跳动的视觉 Agent，在 Android/iOS/Windows/macOS 多端测试

3.3 企业级工具

PulsarRPA：企业级 RPA + AI 爬虫，支持大规模并行
WorkArena：ServiceNow 推出的任务型 Benchmark，含 200+ 真实业务场景
BrowserGym：Browser Agent 评测框架，支持多 Agent 并行评测

四、技术架构：从"爬虫"到"Agent"的分层演进

Awesome Web Agents 列表本身是一个静态文档，但它折射出整个 AI Web 交互领域的技术演进路径。从架构层面看，这个生态可以分为四层：

第一层：爬虫/数据提取（最底层）：传统 AI + Web 的起点，用 LLM 分析网页结构提取产品信息、价格数据、新闻内容。代表工具：LLM Scraper、PulsarRPA。

第四层：通用 Computer Agent：将 Web 操作泛化为"操作系统操作"，AI 可以在文件管理器、终端、IDE 之间自由切换。代表工具：Manus、Open Interpreter。

五、部署方式：推荐直接使用

维度	说明
部署难度	零部署：本项目是静态精选列表，无需安装
使用方式	直接浏览 GitHub 页面，或访问 app.steel.dev 体验配套工具
硬件需求	无（静态资源）
快速体验	Surf.new 提供 Web UI，可以在线对比多个 Web Agent 的效果

六、局限与争议

6.1 维护质量参差不齐

列表收录了 100+ 工具，但部分工具已长时间未更新（Archive 分类收录了废弃项目）。建议读者交叉验证工具的 GitHub 最新提交时间和 Issue 活跃度。

6.2 商业工具与开源工具混杂

6.3 Benchmark 有效性存疑

各基准的评测方法论差异较大，横向可比性有限。Anthropic 和 OpenAI 的 Computer Use 评测标准也不公开，导致"谁是 SOTA"难以定论。

七、行业意义与趋势

7.1 生态快速增长

7.2 关键技术瓶颈

DOM token 消耗：现代网页 DOM 节点可达数万个，远超 LLM context window 上限。Browser-Use 的 DOM 蒸馏、Agent-E 的 HTML 压缩都是针对此问题的优化方案。
多标签/多窗口管理：真实用户的 Web 任务往往需要跨标签页操作，而大多数 Agent 目前只能处理单标签。
视觉 vs 文本感知：纯文本 Agent 容易被复杂 CSS 样式欺骗，多模态 Agent 效果更好但成本更高。

7.3 代表趋势

从"读网页"到"操控网页"：爬虫类工具正在向 Agent 化演进，LLM Scraper → PulsarRPA → Browser-Use 是一条典型进化路径。
Benchmark 标准化：WorkArena 和 BrowserGym 正在建立行业评测标准，未来 Agent 选型将有据可依。
开源 vs 商业分化：开源工具在灵活性和隐私性上占优；商业工具在体验和可靠性上领先。

本文图片说明：steel_hero.png 为 Steel 官方维护的仓库横幅图，托管于 GitHub raw 资源；Steel 品牌标识来自 avatars.githubusercontent.com/u/164206247。

标签: AI Agent · Web Automation · Browser Agent · LLM · Computer Use · Awesome List