CUA：让AI真正掌控计算机

当AI开始"用"电脑

想象一下，你对着一台没有显示器的服务器说："帮我打开浏览器，登录 GitHub，创建一个新仓库，然后把 README 写好提交。"——这不是科幻，而是 CUA 正在实现的事情。

2025 年，随着 Claude、GPT 等大语言模型的能力跃升，一个新问题浮现：模型再聪明，如果无法操控真实的计算机环境，它的实用性就大打折扣。CUA（Computer-Use Agent） 正是在这个背景下诞生的——它为 AI Agent 构建了一套完整的"计算机操控基础设施"，让模型真正像人一样操作桌面、浏览器、文件系统。

图1：CUA 整体架构图

CUA 背后的团队 TryCUA 并非无名之辈。项目在 GitHub 上线后迅速获得关注，目前 stars 数已突破 17,000，fork 超过 1,000 次，成为 computer-use 领域最具影响力的开源项目之一。

什么是 CUA？

CUA 并不是一个单一的 AI Agent，而是一套模块化的计算机操控基础设施。它拆解了"让 AI 操作电脑"这件事，从底层虚拟机沙盒、跨平台 SDK、基准测试到 AI Agent 开发框架，每一层都有独立的项目支撑。

表1：CUA 核心子项目一览

子项目	功能定位	技术栈
cua-sandbox	跨 OS 沙盒（Linux/macOS/Windows/Android）	Python 3.11+
cua-agent	AI Agent 开发框架	Python
cua-driver	macOS 后台操控（不抢焦点）	Swift / Rust
cua-bench	评测基准（OSWorld、ScreenSpot 等）	Python
cuabot	终端沙盒 CLI（npx 即用）	TypeScript
lume	macOS 虚拟机管理（Apple Silicon 优化）	Swift

这种架构的聪明之处在于：同一个 API 调用，可以透明地路由到本地 QEMU 虚拟机、云端 cua.ai 服务，或者本地 Lume macOS 虚拟机。开发者无需关心底层细节，只需要调用统一的 Sandbox 接口。

图2：Cuabot 原生窗口截图

核心能力：让 AI 操作一切

1. 跨平台沙盒

CUA 的 Sandbox SDK 是整个框架的核心。用 Python 写几行代码，就能启动任意操作系统的虚拟环境：

from cua import Sandbox, Image

async with Sandbox.ephemeral(Image.linux()) as sb:
    screenshot = await sb.screenshot()
    await sb.mouse.click(100, 200)
    await sb.keyboard.type("Hello from Cua!")

支持矩阵非常全面：Linux 容器、Linux QEMU 虚拟机、macOS（本地或 Lume 虚拟机）、Windows、Android，甚至"自带镜像"（BYOI）——用户可以传入任意 .qcow2 或 .iso 文件。

2. macOS 后台 Agent（Cua Driver）

这是 CUA 最有技术含量的部分之一。Cua Driver 是一个运行在 macOS 后台的 Swift 程序，让 AI Agent 在不抢夺用户焦点的情况下操控应用程序。它能操作非 AX 接口的复杂表面，比如基于 Chromium 的 Web 内容、Blender、Figma、DAW（数字音频工作站）乃至游戏引擎。

安装方式极为简单：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)"

安装后，Agent 就能在后台"看不见地"操作你的 Mac——用户正常工作的同时，AI 在后台完成任务。

3. AI Agent 评测基准（Cua-Bench）

想让 AI 操控电脑？先量化评估它的能力。Cua-Bench 整合了 OSWorld、ScreenSpot、Windows Arena 等主流 benchmark，支持导出"轨迹数据"（trajectory）用于强化学习训练。评测结果可以帮助研究者和开发者系统性地提升 Agent 能力。

4. macOS 虚拟化（Lume）

Lume 是 CUA 体系中另一个独立亮点。它基于 Apple 的 Virtualization.Framework，在 Apple Silicon 上创建和运行 macOS/Linux 虚拟机，性能接近原生。配合 Lumier（类 Docker 接口），开发者可以用熟悉的容器命令管理虚拟机。

图3：Lume 架构

技术实现

多语言 SDK

CUA 的代码库分布在多个语言生态中：

• Python（libs/python/）：最完整，包含 core、computer、agent、som、computer-server、mcp-server 等多个子模块
• TypeScript（libs/typescript/）：cuabot 等 CLI 工具的核心
• Swift（Package.swift）：cua-driver 和 lume 的原生实现

容器化支持

Dockerfile 存在且可用，基于 python:3.12-slim，预装了 X11 图形界面依赖（libgl1、libglib2.0 等），适合构建沙盒镜像。虽然没有 docker-compose，但 Makefile 提供了构建辅助。

测试与质量

仓库中包含 .pre-commit-config.yaml、.prettierrc.yaml 等开发规范文件，以及 TESTING.md 测试文档。license 为 MIT。

上手体验

安装门槛极低：

pip install cua          # Python SDK
npx cuabot               # CLI 沙盒（TypeScript）

如果只是想在终端里体验，最快的方式是 npx cuabot——它会自动引导配置，不需要手动搭建环境。

对于 macOS 用户，安装 Cua Driver 后，就拥有了一个后台 AI Agent 运行引擎，可以通过 MCP 协议接入 Claude Code、Cursor 等主流 AI 编程工具。

局限与挑战

1. AI 操控的可靠性：让 AI 可靠地完成复杂桌面操作仍是难题。CUA 提供了基础设施，但最终的操作成功率取决于底层模型的视觉理解和任务规划能力。

2. macOS 独占限制：Cua Driver（最强大的后台控制能力）仅支持 macOS，Windows/Linux 用户无法享受同等体验。

3. 本地硬件要求：运行虚拟机沙盒（Lume、QEMU）需要足够的 CPU/RAM 资源，不适合低配机器。

4. 云端依赖：完整的跨平台能力（尤其是 Windows/Android 支持）部分依赖 cua.ai 云服务，开源版本的功能相对有限。

行业意义

CUA 的出现代表着 AI Agent 发展的一个重要方向——从"聊天"进化到"行动"。Computer-Use 不仅是让 AI 帮忙写代码，更是让它能够自主操作真实世界的图形界面、打开 App、填表单、点击按钮。

随着 Claude Code、Cursor 等 AI 编程工具的流行，CUA 这类底层基础设施的价值愈发凸显。它不仅服务于 AI 研究者，也为 AI 原生应用开发者提供了快速验证想法的能力。

---

数据来源：GitHub (trycua/cua, 17,110 stars)、cuab.ai 官方文档