Open-AutoGLM

你有没有想过，对着手机说一句话，它就能帮你完成所有操作——打开 App、搜索内容、填写信息，全部自动搞定？Open-AutoGLM 正是这样一款「AI 手机助理」框架，它由智谱 AI（Zhipu AI）开源发布，GitHub 获星超过 2.5 万，是当前最活跃的手机 AI Agent 项目之一。

图1：AutoGLM Phone Agent 运行截图

这个项目的诞生源于一个朴素的痛点：手机是我们每天使用最频繁的智能设备，但想要让它自动化完成复杂任务，却几乎没有简单的方法。传统方案要么依赖繁琐的脚本，要么需要 Root 权限，门槛极高。智谱 AI 的团队决定打破这一困局——用视觉语言模型（VLM）感知屏幕内容，用自然语言规划操作步骤，让普通用户也能用「嘴」操控手机。

图2：Android USB调试配置（权限设置）

Open-AutoGLM 的工作方式可以类比为「给手机装了一个看不见的副驾驶」。当你对系统说「打开美团搜索附近的火锅店」，它会经历这样一串思维链：首先用 ADB（Android Debug Bridge）或 HDC（HarmonyOS Device Connector）截取当前屏幕截图，然后把这个截图交给视觉语言模型分析界面布局，再结合用户指令决定下一步该执行什么操作（点击、滑动、输入文字等），最后生成 ADB/HDC 命令真正控制手机。整个流程循环往复，直到任务完成。

系统支持 Android、HarmonyOS NEXT 和 iOS 三大平台。对于 Android，通过 ADB 连接设备，支持 50 多种常用应用（微信、淘宝、美团、抖音、小红书等）；HarmonyOS 用 HDC 工具直连，已适配 60 多种应用甚至系统原生 App；iOS 则借助 WebDriverAgent 实现自动化。设备可以 USB 直连，也可以通过 WiFi 远程控制，这意味着你完全可以在电脑上操控另一间房的手机。系统内置敏感操作确认机制，遇到转账、输入密码等高风险场景会自动暂停等待人工介入。

图3：执行「打开微信发消息」任务示意

开发者可以选择接入第三方模型服务（智谱 BigModel 或 ModelScope）快速上手，也可以用 vLLM 或 SGLang 在本地部署 AutoGLM-Phone-9B 模型权重，完全离线运行。项目采用 Python 3.10+ 开发，核心依赖仅有 Pillow 和 openai（OpenAI 兼容接口），代码结构清晰——phone_agent/ 下分 agent.py（Agent 核心）、adb/（Android 控制）、hdc/（鸿蒙控制）、xctest/（iOS 控制）、actions/（操作处理）、config/（提示词和应用映射）等模块，整体遵循工具调用型 Agent 的经典 ReAct 范式，代码可读性较高。另有 Claude Code 集成能力，接入 GLM Coding Plan 后可通过自然语言提示词自动部署。

图4：iOS 设备支持示意

不过也要清醒认识它的局限。首先必须有一台真实的手机，不能模拟，这是物理层面的硬性要求。其次模型推理依赖 GPU（本地部署时），成本不低。第三，复杂长流程任务（如跨多个应用、涉及验证码）仍有失败风险，100 步的上限有时也会成为瓶颈。第四，由于直接操控设备，存在隐私和安全风险——作者在文档中明确声明仅供研究学习，禁止用于非法场景。

尽管如此，Open-AutoGLM 的行业意义不容小觑。它代表着 AI Agent 从纯软件操作向物理世界操控的重要一步。随着多模态模型能力持续提升，手机、汽车、智能家居等终端的控制门槛都在快速下降。这类「AI + 物理设备」的结合模式，正在成为 2024-2025 年最值得关注的 AI 应用趋势之一。