ACU - Awesome Agents for Computer Use

图1：ACU 项目 Logo

项目概述

ACU（Awesome Agents for Computer Use）是一个精心策划的 AI Computer Use Agent 领域精选资源列表，收录了该领域最前沿的学术论文、开源项目、框架工具和商业方案。2025 年 1 月由 trycua 组织创建，与该组织的主项目 Cua（17,862 ★）共享同一技术愿景——构建 AI Agent 控制计算机的能力基础设施。

这个项目的诞生背景极具代表性：2024 年 10 月，Anthropic 发布 Claude 3.5 Sonnet 的 Computer Use 功能，首次展示了 LLM 直接操控鼠标键盘操作计算机的能力，引发了整个 AI Agent 领域的研究热潮。ACU 正是这一波浪潮中的知识沉淀结晶——它用结构化的方式，将散落在 arXiv、HuggingFace、GitHub 各处的碎片化资源整合为一份可检索、可引用的全局地图。

核心内容结构

ACU 的内容组织高度系统化，覆盖 Computer Use Agent 全栈知识体系：

学术论文（Papers）按主题分为 6 个子分类：

• Surveys（综述）：收录 4 篇权威综述，包括 LLM-Brained GUI Agents 全面综述（浏览量最高的综述之一）、Foundation Model GUI Agents 综述等，帮助研究者快速建立全局认知
• Frameworks & Models（框架与模型）：收录 20+ 篇核心工作，涵盖 LOOP（32B 参数 RL 训练方法，超越 OpenAI o1 9个百分点）、Large Action Models 完整框架、SpiritSight Agent 单次视觉交互方案等
• UI Grounding（界面定位）：专注 UI 元素识别与定位的专项研究
• Dataset（数据集）：收录 Mind2Web（最大规模 Web 交互数据集）、Android in the Wild、Rico 移动端数据集、WebShop 等 10+ 个数据集
• Benchmark（基准测试）：收录 AppWorld（750 个自然语言任务，GPT-4o 仅达 49%）、OSWorld（真实操作系统任务）、τ-bench（Agent-User 交互评估）等 9 个权威评测基准
• Safety（安全）：收录 PopupAttack（对抗 Pop-up 攻击）、EIA（隐私泄露攻击）、GuardAgent（安全防护机制）等 3 项安全研究

开源项目（Projects/Open Source）按功能分为 3 类：

• Frameworks & Models：涵盖 AutoGen、Browser Use、OpenInterpreter、LaVague、Skyvern 等 20+ 个开源 Agent 框架
• Environment & Sandbox：收录 Cua（Apple Silicon macOS/Linux 沙箱）、E2B Desktop Sandbox、dockur/windows 等沙箱环境
• Automation：收录 nut.js（原生 UI 自动化）、PyAutoGUI（跨平台 GUI 控制）

商业方案：收录 Claude Computer Use、Multion、Runner H 等商业产品。

技术特点分析

知识组织方式：ACU 采用 "awesome-list" 的经典模式——基于 GitHub Markdown 的社区协作知识库。这种模式的优势在于：维护成本极低（纯 Markdown）、版本控制内置、PR 审核流程成熟。在 AI 领域，awesome-list 已成为仅次于论文网站的最重要知识索引形式，awesome-python、awesome-pytorch 等项目均已形成庞大的社区生态。

内容覆盖广度：ACU 收录范围从底层模型训练（RL 方法、Action Models）到中层框架设计（Agent 架构、工具调用），再到顶层应用场景（Web 自动化、桌面控制、移动端操作），形成了完整的技术栈映射。特别值得注意的是，它同时收录了"安全与攻击"这一往往被 awesome-list 忽略的维度，反映出项目维护者对技术风险的重视。

时效性：项目创建于 2025 年 1 月，README 最后更新为 2025 年 9 月，收录了大量 2024-2025 年的最新研究，体现出良好的追踪频率。

与主项目 Cua 的关系：trycua 组织同时维护 Cua（沙箱基础设施，17,862 ★）和 ACU（知识库），形成了"工具+知识"的双轨布局。Cua 提供可运行的代码和沙箱环境，ACU 则提供领域全景视角，两者相互引流，共同构建 trycua 在 Computer Use 领域的影响力。

使用场景

适合人群：AI 研究者、Agent 开发工程师、学生以及对 Computer Use Agent 领域感兴趣的任何人士。

典型使用场景：

1. 文献调研：想了解 Computer Use Agent 领域的完整技术图谱，从 ACU 的 Surveys 章节开始是最高效的路径
2. 项目选型：需要选择 Agent 框架时，对比 AutoGen、Browser Use、OpenInterpreter 等各框架特点
3. Benchmark 评估：发布新工作前，对照 AppWorld/OSWorld 等基准测试横向比较
4. 追踪前沿：定期浏览 Papers 章节，跟踪最新 arXiv 论文动态

使用门槛：极低。无需安装任何依赖，直接在 GitHub 网页浏览或 Clone 到本地均可。由于是纯 Markdown 格式，可通过任何文本编辑器或 Typora/Obsidian 等笔记工具获得更好的阅读体验。

局限与思考

ACU 作为一个静态 awesome-list，存在以下固有局限：

无搜索能力：纯文本列表无法按关键词检索内容，每次寻找特定主题都需要手动浏览或借助浏览器 Ctrl+F。建议使用 GitHub 自带的 t 快捷键快速定位，或 Clone 后用 IDE 全局搜索。

无元数据筛选：无法按时间范围、作者、引用量等维度过滤论文列表。研究者需要结合 arXiv、Google Scholar 的高级筛选功能使用。

维护延迟：依赖社区 PR 更新，最新论文可能存在数周的滞后。对于需要实时追踪的研究者，建议同时订阅相关 arXiv 关键词订阅。

图片引用说明：README 中的 logo.png 存储在仓库 img/ 目录，GitHub Pages 可正常渲染，但 raw.githubusercontent.com 在部分网络环境下可能访问受限。

行业意义

ACU 的出现折射出一个更大的趋势：Computer Use Agent 正在从单点技术突破走向系统化、工程化。从 2023 年 Mind2Web 数据集发布，到 2024 年 Claude Computer Use、OSWorld 基准建立，再到 2025 年 Cua 沙箱基础设施的成熟，这个领域正在完成从"学术演示"到"可部署系统"的蜕变。

ACU 作为这一进程的见证者和记录者，它的价值不仅在于收录了多少篇论文或多少个项目，更在于它提供了一个全局坐标系——让研究者知道"这个领域现在在哪里"，让工程师知道"我应该从哪里开始"。在 AI Agent 日益碎片化的今天，这样一份持续更新的全景地图，本身就是一种稀缺资源。

仓库地址：https://github.com/trycua/acu
X 社区：https://x.com/i/communities/1874549355442802764
同类参考：awesome-python、awesome-pytorch、awesome-llm-long-context-modeling