Cradle：让 AI 模型学会操控电脑的通用智能体框架

你有没有想过，如果一个人工智能能够像真人一样看屏幕、操作鼠标键盘，完成从浏览网页、收发邮件到玩复杂 3A 游戏等各种电脑任务，那会是怎样的场景？北京大学 BAAI-Agents 团队打造的 Cradle 框架，正是为了实现这个愿景而生——它是首个系统性地探索「通用电脑控制」（General Computer Control，GCC）方向的开源研究框架。

图1：Cradle 框架核心架构（来源：BAAI-Agents 官网）

一句话解释 Cradle 是什么

简单来说，Cradle 是一套让基础 AI 模型通过「截图输入 + 键盘鼠标输出」的方式，像真人一样操控任意软件的智能体框架。它不依赖任何软件内置 API，而是让模型直接看屏幕、理解界面、执行操作——这与人类使用电脑的方式完全一致。

背景：为什么需要通用电脑控制？

传统的 AI 智能体往往针对特定任务设计，比如只能回答问题的对话助手、只能完成固定流程的 RPA 机器人。这类方案的问题是换一个软件、换一个任务，就需要重新定制开发，泛化能力极差。

Cradle 团队提出的 GCC 设定，灵感来源于一个核心洞察：人类与所有软件交互的「最大公约数」就是屏幕 + 键盘 + 鼠标。如果 AI 能像人一样看屏幕、操作键鼠，理论上就能操控任何软件——从浏览器、办公软件到大型游戏。

这个方向的重要性在 2024-2025 年迅速获得学界认可。OSWorld 等标准化评测基准的建立，进一步推动了 GCC 成为 AI Agent 研究的新前沿。Cradle 正是这一波浪潮中的代表作之一。

核心架构：六模块协同的智能体系统

Cradle 的架构设计体现了对复杂长程任务的深度思考。整个系统围绕六大核心模块运转：

信息收集（Information Gathering）：从屏幕截图中提取结构化信息。Cradle 集成了 SAM2（Segment Anything Model 2）和 Grounding DINO 进行目标检测，结合 OCR（EasyOCR + spaCy）识别文字，并用 Supervision 库做可视化标注，最终生成带坐标标注的「增强截图」。

自我反思（Self-Reflection）：对已执行动作进行推理分析，判断当前状态是否有利于任务推进。这是 ReAct 范式在 GCC 场景的具体实现，帮助模型从错误中学习。

任务推理（Task Inference）：根据用户目标和当前状态，高层规划下一步行动方向。

技能策展（Skill Curation）：维护一个可复用的技能库，将高频操作模式（如「点击按钮」「输入文本」「拖动滑块」）抽象为可组装的技能单元。

行动规划（Action Planning）：将高层决策转化为具体可执行的低层动作代码，通过 pyautogui、ahk、pydirectinput 等库驱动键盘鼠标。

记忆系统（Memory）：整合短时记忆（Short-term）和向量记忆（Vector Memory），支持任务过程中的上下文积累和检索。

图2：Cradle 的信息处理与决策数据流（来源：BAAI-Agents 官网）

覆盖场景：从浏览器到 3A 大作

Cradle 另一个令人印象深刻的特点是其超广的测试场景覆盖：

软件应用：Chrome 浏览器、Outlook 邮件客户端、飞书（Feishu）、美图秀秀（Meitu）、剪映（CapCut）等日常和专业软件。

商业游戏：荒野大镖客 2（Red Dead Redemption 2）、《星露谷物语》（Stardew Valley）、《城市：天际线》（Cities: Skylines）、《Dealer Life 2》等涵盖 RPG、模拟经营、冒险等不同类型。

标准化评测：在 OSWorld benchmark（首个针对真实电脑环境的智能体评测基准）上，Cradle 也取得了显著成绩。

这意味着 Cradle 不仅是实验室里的演示玩具，而是真正具备复杂环境适应能力的研究系统。

图3：GCC（通用电脑控制）核心思路——通过统一接口操控任意软件（来源：BAAI-Agents 官网）

技术栈一览

上手门槛与局限

门槛较高是客观现实：Cradle 主要面向 AI 研究者，而非普通用户。部署需要：Python 3.10 环境、API Key（GPT 或 Claude）、手动安装 spaCy NLP 模型（非 pip 自动处理）、以及针对不同环境配置游戏/软件环境参数。

平台限制也需注意：虽然代码支持 macOS 的部分库（pyobjc），但主力开发在 Windows 平台，部分游戏（如 RDR2）仅支持 Windows。

此外，长程任务稳定性仍是开放挑战——当前模型在非常规游戏进度、复杂多窗口操作时仍可能出现决策失误。

行业意义与未来

Cradle 的价值不仅在于本身，更在于它代表了一种范式转变：AI Agent 的能力边界，不再由「能否调用特定 API」决定，而取决于「能否像人一样理解屏幕」。

随着多模态大模型能力的持续提升（如 GPT-4V、Claude Vision），GCC 方向的潜力正在加速释放。Cradle 作为开源先行者，为整个社区提供了一个可复现、可扩展的研究基线。