Windows Computer Use MCP：让 AI Agent 真正「看见」并操控 Windows 桌面

一款工具，两个身份

想象你坐在工位上，旁边是一位实习生。这位实习生不仅能回答你的问题（工具），还能自主去完成任务——帮你打开 Excel、自动填表、截图存档、发邮件汇报（Agent）。这就是 windows-computer-use-mcp 正在做的事：它让 AI Agent 真正「看见」并操控 Windows 桌面，而不只是处理文本。

2025 年 7 月，作者 Sandra Schilling 开源了这款项目，迅速吸引了大量关注。目前已在 GitHub 斩获 35k stars，被贴上了 computer-use、claude-desktop、gui-testing、windows-automation 等 20 个标签——几乎涵盖了 AI Agent 桌面操控的各个维度。

背景故事：从 GUI 自动化到 AI 原生

桌面 GUI 自动化并不是新鲜事物。PyWinAuto、AutoHotkey、SikuliX 等工具早已存在。但这些工具的核心问题在于：它们需要人类预先编写精确的操作指令。你要告诉程序「点击坐标 (320, 580) 的按钮」，而不是「点击登录按钮」。

2024 年底，Anthropic 推出 Computer Use 能力，让 Claude 能「看见」屏幕并规划操作。受此启发，Sandra 将这一能力以 MCP（Model Context Protocol） 的形式移植到 Windows 平台。MCP 是一种新兴的 AI Agent 与工具之间的通信协议，已经得到 Claude Desktop、Cursor、DeepSeek 等主流产品的支持。

技术原理：AI 是如何「看懂」 Windows 的

windows-computer-use-mcp 的核心技术栈建立在 pywinauto 之上。pywinauto 是 Python 生态中最成熟的 Windows GUI 自动化库，它通过两种方式「理解」界面：

• UIA（UI Automation）：Windows Vista 以后内置的辅助功能 API，可读取按钮、输入框等标准控件的名称和属性
• Win32 API：通过 Windows 消息机制直接与老旧应用交互

AI Agent 的操控链路是这样的：

1. 截图（Screenshot）：pywinauto 截取当前窗口画面，传给 AI 模型
2. OCR（Pytesseract）：从截图中提取文字，理解当前界面的状态
3. 规划（Planning）：AI 根据画面内容决定下一步操作（如「点击确认按钮」）
4. 执行（Action）：MCP 工具将指令转化为 pywinauto 操作序列（点击、输入、热键等）
5. 验证（Verify）：再次截图，确认操作达到了预期效果

这套闭环让 AI 具备了「看图操作」的能力，而不是依赖硬编码的坐标。

22 个 MCP 工具：覆盖桌面操控全场景

作为 MCP Server，windows-computer-use-mcp 暴露了 22 个标准化工具，可被任何 MCP 客户端直接调用。核心工具分为以下几类：

窗口管理类

• automation_find_window：按标题模糊匹配窗口
• automation_activate_window：激活指定窗口
• automation_maximize、automation_minimize、automation_close：最值化、最小化、关闭

鼠标键盘类

• automation_click、automation_drag、automation_type：点击、拖拽、输入
• automation_hotkey：模拟快捷键（Ctrl+C、Alt+Tab 等）
• automation_app_shortcut：启动应用并传入参数

UI 元素识别类

• automation_get_element_text：读取指定控件的文字
• automation_click_element_by_text：按文字内容定位并点击按钮
• automation_verify_element_state：验证某个 UI 元素是否处于预期状态

视觉智能类

• automation_screenshot：截取全屏或指定区域
• automation_ocr：调用 Pytesseract 从截图中提取文字
• automation_template_match：模板匹配（找图找按钮）

自动化编排类

• automation_mission：给 AI 一个目标，它自动规划、执行、重试、验证、汇报
• automation_record_macro：录制操作序列，可回放
• automation_watch_event：持续监控界面变化，触发条件时执行操作

上手体验：四种使用方式，总有一款适合你

方式一：作为 MCP Server（推荐开发者）

在 Claude Desktop 或 Cursor 的 mcp_settings.json 中注册：

{
  "mcpServers": {
    "windows-computer-use": {
      "command": "uv",
      "args": ["--directory", "<项目路径>", "run", "windows-computer-use-mcp"]
    }
  }
}

之后在对话中直接调用 automation_click、automation_screenshot 等工具。

方式二：作为独立 Web UI（推荐测试工程师）

./start.ps1

自动启动一个 React Dashboard，访问 http://127.0.0.1:10788，可以手动触发自动化任务、查看日志、进行 HITL（Human-In-The-Loop，人工确认）操作。

方式三：作为桌面安装包（推荐普通用户）

直接下载 NSIS 安装包（Releases 页面），一路下一步即可。打包了 Python runtime 和所有依赖，无需安装 Python 或 uv，开箱即用。

方式四：作为自主 Agent（进阶用户）

最强大的模式。给 AI 一个自然语言目标：

automation_mission(run="打开记事本，输入'Hello World'，截图保存到桌面，关闭窗口")

系统会自动规划步骤、执行操作、验证结果。若某步失败（如按钮位置偏移），会自动重试。README 中提到过一个令人印象深刻的案例：100 个 Tauri 安装包、无人值守安装、截图验证、总成本 2 美元的 LLM 调用费用——这是 AI 驱动的无人值守批量运维。

技术架构：FastMCP 3.2 + Pydantic + Python 3.12

项目基于 FastMCP 3.2.0 构建，这是一个支持 Agentic Sampling 的 MCP 框架，允许 AI 模型对工具调用进行动态干预。数据层使用 Pydantic v2 做请求/响应校验，HTTP 层基于 FastAPI + Uvicorn。

依赖树中值得注意的是：

• pywinauto（Windows 自动化核心）
• pytesseract + opencv-python-headless（OCR 视觉）
• prefab-ui（UI 元素预检）

争议与局限

局限性一：Windows Only。这是最明显的限制。Linux/macOS 用户无法使用。作者明确标注了「Windows 10+ / Windows 11」支持。

局限性二：AI 幻觉操控。如果 AI 对截图中按钮位置判断错误，可能点击到错误的 UI 元素。文档中明确建议在生产环境使用前先通读 docs/SAFETY.md。

局限性三：OCR 准确率依赖字体质量。低分辨率截图或特殊字体可能导致 OCR 识别错误，需要配合 verify_element_state 做二次确认。

局限性四：无 Docker 支持。项目没有提供 Dockerfile，对于已经容器化的工作流不友好。不过考虑到这是 Windows 桌面自动化，容器化本身意义有限——pywinauto 本质上需要真实的 Windows GUI 环境。

行业意义：批量运维的 Agent 化趋势

windows-computer-use-mcp 代表了一个重要趋势：AI Agent 从「对话」走向「操控」。

传统的 RPA（Robotic Process Automation）依赖人工录制操作流程，AI 只是「更聪明的脚本」。而基于 MCP 的桌面自动化让 AI 自主规划操作序列，实现了从「脚本驱动」到「意图驱动」的跨越。

对于企业场景：财务报销自动化、批量软件安装测试、CIO/IT 运维无人值守巡检——这些过去需要大量人力或复杂 RPA 配置的工作，现在可以用自然语言描述目标，交给 Agent 完成。

GitHub 上 35k stars 的背后，是开发者社区对「AI 能动手做事」这一愿景的高度期待。

快速上手

场景	命令
MCP Server 模式	uv run windows-computer-use-mcp
Web UI 模式	.\start.ps1 → http://127.0.0.1:10788
桌面安装包	下载 Releases 中的 NSIS 安装包
查看示例	just demo

前提条件：Windows 10/11，Python 3.12+，推荐使用 uv 管理包。