cua
trycua/cua加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象一下，你对着一台没有显示器的服务器说："帮我打开浏览器，登录 GitHub，创建一个新仓库，然后把 README 写好提交。"——这不是科幻，而是 CUA 正在实现的事情。
2025 年，随着 Claude、GPT 等大语言模型的能力跃升，一个新问题浮现：模型再聪明，如果无法操控真实的计算机环境，它的实用性就大打折扣。CUA（Computer-Use Agent） 正是在这个背景下诞生的——它为 AI Agent 构建了一套完整的"计算机操控基础设施"，让模型真正像人一样操作桌面、浏览器、文件系统。
图1：CUA 整体架构图
CUA 背后的团队 TryCUA 并非无名之辈。项目在 GitHub 上线后迅速获得关注，目前 stars 数已突破 17,000，fork 超过 1,000 次，成为 computer-use 领域最具影响力的开源项目之一。
CUA 并不是一个单一的 AI Agent，而是一套模块化的计算机操控基础设施。它拆解了"让 AI 操作电脑"这件事，从底层虚拟机沙盒、跨平台 SDK、基准测试到 AI Agent 开发框架，每一层都有独立的项目支撑。
表1：CUA 核心子项目一览
| 子项目 | 功能定位 | 技术栈 |
|---|---|---|
| cua-sandbox | 跨 OS 沙盒（Linux/macOS/Windows/Android） | Python 3.11+ |
| cua-agent | AI Agent 开发框架 | Python |
| cua-driver | macOS 后台操控（不抢焦点） | Swift / Rust |
| cua-bench | 评测基准（OSWorld、ScreenSpot 等） | Python |
| cuabot | 终端沙盒 CLI（npx 即用） | TypeScript |
| lume | macOS 虚拟机管理（Apple Silicon 优化） | Swift |
这种架构的聪明之处在于：同一个 API 调用，可以透明地路由到本地 QEMU 虚拟机、云端 cua.ai 服务，或者本地 Lume macOS 虚拟机。开发者无需关心底层细节，只需要调用统一的 Sandbox 接口。
图2：Cuabot 原生窗口截图
CUA 的 Sandbox SDK 是整个框架的核心。用 Python 写几行代码，就能启动任意操作系统的虚拟环境：
from cua import Sandbox, Image
async with Sandbox.ephemeral(Image.linux()) as sb:
screenshot = await sb.screenshot()
await sb.mouse.click(100, 200)
await sb.keyboard.type("Hello from Cua!")
支持矩阵非常全面：Linux 容器、Linux QEMU 虚拟机、macOS（本地或 Lume 虚拟机）、Windows、Android，甚至"自带镜像"（BYOI）——用户可以传入任意 .qcow2 或 .iso 文件。
这是 CUA 最有技术含量的部分之一。Cua Driver 是一个运行在 macOS 后台的 Swift 程序，让 AI Agent 在不抢夺用户焦点的情况下操控应用程序。它能操作非 AX 接口的复杂表面，比如基于 Chromium 的 Web 内容、Blender、Figma、DAW（数字音频工作站）乃至游戏引擎。
安装方式极为简单：
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)"
安装后，Agent 就能在后台"看不见地"操作你的 Mac——用户正常工作的同时，AI 在后台完成任务。
想让 AI 操控电脑？先量化评估它的能力。Cua-Bench 整合了 OSWorld、ScreenSpot、Windows Arena 等主流 benchmark，支持导出"轨迹数据"（trajectory）用于强化学习训练。评测结果可以帮助研究者和开发者系统性地提升 Agent 能力。
Lume 是 CUA 体系中另一个独立亮点。它基于 Apple 的 Virtualization.Framework，在 Apple Silicon 上创建和运行 macOS/Linux 虚拟机，性能接近原生。配合 Lumier（类 Docker 接口），开发者可以用熟悉的容器命令管理虚拟机。
图3：Lume 架构
CUA 的代码库分布在多个语言生态中：
Dockerfile 存在且可用，基于 python:3.12-slim，预装了 X11 图形界面依赖（libgl1、libglib2.0 等），适合构建沙盒镜像。虽然没有 docker-compose，但 Makefile 提供了构建辅助。
仓库中包含 .pre-commit-config.yaml、.prettierrc.yaml 等开发规范文件，以及 TESTING.md 测试文档。license 为 MIT。
安装门槛极低：
pip install cua # Python SDK
npx cuabot # CLI 沙盒（TypeScript）
如果只是想在终端里体验，最快的方式是 npx cuabot——它会自动引导配置，不需要手动搭建环境。
对于 macOS 用户，安装 Cua Driver 后，就拥有了一个后台 AI Agent 运行引擎，可以通过 MCP 协议接入 Claude Code、Cursor 等主流 AI 编程工具。
AI 操控的可靠性：让 AI 可靠地完成复杂桌面操作仍是难题。CUA 提供了基础设施，但最终的操作成功率取决于底层模型的视觉理解和任务规划能力。
macOS 独占限制：Cua Driver（最强大的后台控制能力）仅支持 macOS，Windows/Linux 用户无法享受同等体验。
本地硬件要求：运行虚拟机沙盒（Lume、QEMU）需要足够的 CPU/RAM 资源，不适合低配机器。
云端依赖：完整的跨平台能力（尤其是 Windows/Android 支持）部分依赖 cua.ai 云服务，开源版本的功能相对有限。
CUA 的出现代表着 AI Agent 发展的一个重要方向——从"聊天"进化到"行动"。Computer-Use 不仅是让 AI 帮忙写代码，更是让它能够自主操作真实世界的图形界面、打开 App、填表单、点击按钮。
随着 Claude Code、Cursor 等 AI 编程工具的流行，CUA 这类底层基础设施的价值愈发凸显。它不仅服务于 AI 研究者，也为 AI 原生应用开发者提供了快速验证想法的能力。
数据来源：GitHub (trycua/cua, 17,110 stars)、cuab.ai 官方文档