ghost-os

打破 AI 的「笼子」：Ghost OS 让 Agent 真正操控你的 Mac

你是否有这样的困惑：花大价钱部署的 AI Agent，看起来无所不能——能写代码、能分析文档、能回答问题——但偏偏做不了最简单的事：帮你点一下邮箱的发送按钮、帮你把文件拖到指定文件夹、帮你填完一个网页表单。

这并非 AI 不够聪明，而是它被困在了一个聊天框里。传统 AI Agent 只能「读」文字，无法「看」到屏幕，更无法「操作」真实的应用程序。它们是信息的处理者，却不是行动的执行者。

Ghost OS 正在改变这一切。通过深度集成 macOS 无障碍 API（Accessibility API）和本地视觉模型，这款开源工具让 AI Agent 能够真正「看见」并「操控」你 Mac 上的每一个应用——不是通过截图猜画面，而是读取精确的结构化数据。安装一次，任何 AI Agent 都能操控你的整个桌面。

Ghost OS setup 引导界面

从截图识别到结构化感知：一场范式转变

Ghost OS 的作者 ghostwright 此前活跃于 macOS 无障碍和逆向工程社区，核心依赖 AXorcist（由知名 iOS 安全研究员 @steipete 开发）。AXorcist 封装了苹果的 AX API（macOS Accessibility API），提供了一套干净的 Swift 接口来读取和操控 macOS 应用的 UI 元素。

传统的 AI 操控电脑方案（如 Anthropic Computer Use、OpenAI Operator）依赖截屏 + 视觉模型来「猜」屏幕上有什么。这种方式存在根本性缺陷：截图频率低、视觉模型昂贵、无法准确识别动态内容。而 Ghost OS 采用无障碍树优先 + 本地视觉兜底的双层策略：

• 第一层：Accessibility Tree（无障碍树） — macOS 每个应用都维护一套描述 UI 结构的 AX 树，包含每个元素的角色、名称、位置、是否可交互等元数据。这是精确的结构化信息，比像素猜测可靠 10 倍。
• 第二层：ShowUI-2B 本地视觉模型 — 当 AX 树不够用时（典型场景：Gmail、Slack 等 web 应用，动态加载的 DOM 元素），Ghost OS 调用本地的 ShowUI-2B 视觉模型在本地做 grounding，不上传任何数据。
• CGEvent Tap 学习模式 — 最独特的创新：用户手动演示一次操作（Ghost OS 通过 CGEvent 监听记录所有点击、按键、窗口切换事件），Claude 合成后生成可参数化的 Recipe 工作流，保存为 JSON 文件永久复用。

29个工具，覆盖感知→决策→执行全链路

Ghost OS 通过 MCP 协议暴露 29 个工具，完整覆盖了 AI Agent 操作电脑所需的全部能力：

感知层（7工具）：ghost_context 获取当前窗口信息、ghost_state 列出所有运行应用、ghost_find 全局搜索元素、ghost_read 提取文本、ghost_inspect 查看单个元素元数据、ghost_element_at 坐标定位元素、ghost_screenshot 截图。

标注层（1工具）：ghost_annotate 截图并自动在每个可交互元素上标注编号，用于调试和视觉反馈，完全无需 ML。

动作层（10工具）：ghost_click、ghost_hover、ghost_long_press、ghost_drag 操作鼠标；ghost_type、ghost_press、ghost_hotkey 操作键盘；ghost_scroll 滚动；ghost_focus 切换应用窗口；ghost_window 管理窗口状态。

等待层（1工具）：ghost_wait 支持 6 种条件轮询（URL 变化、元素出现/消失、标题变化等），解决异步等待问题。

视觉层（2工具）：ghost_ground 用 ShowUI-2B 视觉定位元素坐标；ghost_parse_screen 通过视觉检测所有可交互元素。

工作流层（8工具）：ghost_recipes 列出已安装 Recipe、ghost_run 执行 Recipe、ghost_recipe_show 查看详情、ghost_recipe_save 安装新 Recipe、ghost_recipe_delete 删除；ghost_learn_start/stop/status 管理学习模式。

Recipe 工作流演示：自动发邮件、下载 arXiv 论文

自学习工作流：AI 学会后就能自动执行

Ghost OS 的 Recipe 机制是其最具差异化的创新。当用户执行 ghost_learn_start 并手动演示一遍「发邮件」的操作后，Ghost OS 会记录完整的 CGEvent 序列（点击位置、按键、窗口切换事件），Claude 合成后生成参数化的 JSON Recipe：

{
  "name": "gmail-send",
  "params": ["recipient", "subject", "body"],
  "steps": [
    {"action": "click", "target": "compose_button"},
    {"action": "type", "field": "to", "value": "{{recipient}}"},
    {"action": "type", "field": "subject", "value": "{{subject}}"},
    {"action": "type", "field": "body", "value": "{{body}}"},
    {"action": "click", "target": "send_button"}
  ]
}

关键是：这套 Recipe 可以用 Claude/GPT-4 生成，用 Haiku（轻量模型）永久运行——成本从每次 $0.1 降到接近 $0。Recipe 文件是纯 JSON，透明可审计，执行前可逐行审查。

内置 Recipe 包括：arxiv-download（自动下载 arXiv 论文）、gmail-send（自动发邮件）、slack-send（发 Slack 消息）、finder-create-folder（创建文件夹）。

技术架构：Swift 主进程 + Python 视觉边车

Ghost OS 约 7000 行 Swift 代码（不含视觉边车），采用严格的 MCP-first 单线程同步架构：

• ghost 主进程（Swift）：通过 MCP over stdio 与 AI Agent 通信，所有 MCP 工具调用直接查询 AX 树，无状态、无守护进程、无持久连接。
• ghost-vision 边车（Python）：独立的 Python 进程，通过 stdin/stdout 与主进程通信，运行 ShowUI-2B 视觉模型。仅在 AX 树不够用时按需启动。
• AXorcist 核心库（Swift）：封装苹果 AX API，提供 AXTree、AXElement 等 Swift 友好接口。
• ScreenCaptureKit：Linked Framework，用于截图和屏幕录制。

依赖管理通过 Swift Package Manager，唯一外部依赖是 AXorcist（GitHub 包）。平台要求 macOS 14.0+，Swift 6.2+。

与同类方案对比

维度	Ghost OS	Anthropic Computer Use	OpenAI Operator	OpenClaw
感知方式	无障碍树+本地VLM	纯截图	纯截图	浏览器DOM
支持应用	任意 macOS App	任意（像素）	仅浏览器	仅浏览器
工作流学习	是，JSON Recipe	否	否	否
数据隐私	全本地	取决于部署	云端	全本地
开源	MIT	否	否	MIT
平台	macOS	跨平台	跨平台	浏览器插件

Ghost OS 在 macOS 原生应用场景具有明显优势，特别是其 Recipe 自学习机制是所有竞品中独一无二的。

局限性与争议

平台锁定：目前仅支持 macOS 14+，Windows/Linux 用户无法使用。这既是限制也是优势——在 macOS 生态内做到了极致的深度集成。

权限依赖：需要 macOS Accessibility（无障碍）、Screen Recording（屏幕录制）、Input Monitoring（输入监控）三项系统权限。其中 Input Monitoring 仅在学习模式（Recipe 录制）时需要。Ghost OS 提供了 ghost setup 一键配置引导和 ghost doctor 诊断工具来降低配置门槛。

AX 树盲区：部分 web 应用（特别是自定义前端框架）可能无法通过 AX 树获取完整信息，此时依赖 ShowUI-2B 视觉兜底。视觉模型虽在本地运行，但推理速度比 AX 树慢约 10 倍。

Recipe 脆弱性：macOS 应用 UI 更新后，Recipe 中的元素标识可能失效，需要重新学习。当前 Recipe 缺乏版本兼容检测机制。

无容器化支持：项目无 Dockerfile，无法在服务器环境部署。这是有意设计——Ghost OS 的核心价值在于操作本地 macOS 应用，与容器化场景天然矛盾。

行业意义：AI Agent 从「能说」到「能做」的里程碑

Ghost OS 的出现折射出一个正在成型的趋势：AI Agent 的瓶颈正在从「智能」转向「行动」。当模型能力已经足以规划复杂任务时，如何让模型真正执行操作成为了新的工程挑战。

自学习 Recipe 机制是其中最具启发性的创新：它将「推理成本」与「执行成本」分离——大模型负责学习（贵但一次），小模型负责执行（便宜但多次）。这不仅是效率优化，更是一种可持续的 Agent 架构范式。

目前 Ghost OS 已有 1500+ GitHub stars，配套项目包括 Shadow（多模态记忆系统）和 Specter（VM 部署框架），三者共同构成了一个完整的本地 AI Agent 基础设施栈。

Ghost OS 新工具演示：hover、long_press、drag、annotate