roubao

肉包（Roubao）：首款开源 AI 手机自动化助手

2025 年 12 月，字节跳动联合中兴推出了「豆包手机助手」，首批 3 万台工程机 3499 元，上线当天售罄，二手市场一度炒到 5000+。买不到怎么办？一位开发者用行动给出了答案——自己做一个，而且开源出来。

肉包（Roubao） 是目前唯一一个真正运行在 Android 原生环境中的开源 AI 手机自动化工具，无需电脑、无需数据线，装上就能用。它用 Kotlin 重写了整套 MobileAgent 框架，让 AI 能够"看懂"屏幕、自动决策、操作手机完成任务——比价下单、批量投简历、刷视频、代打游戏，统统只需一句话。

图1：肉包项目 Logo

背景：为什么手机自动化一直是"极客玩具"？

手机自动化这个领域由来已久，但始终面临一个根本性问题：门槛太高。

传统的自动化方案，无论是 Appium、AutoJS 还是阿里 MobileAgent，都是在电脑上运行的 Python 脚本。你需要：一台电脑、Python 环境、各种依赖库、USB 连接或 WiFi ADB，手机沦为"电脑的显示器"。这还没算上环境配置过程中各种版本冲突、权限问题的折腾。

肉包的出现打破了这个困局。 它不是某个现有方案的封装，而是一次从零开始的重写。用 Kotlin 开发，原生运行在 Android 设备上，截图、分析、执行全部在手机本地完成，无需电脑中转。

核心依赖是一个叫 Shizuku 的开源工具。Android 系统禁止普通 App 模拟点击、读取其他 App 界面，传统方案只能靠连接电脑执行 ADB 命令解决。Shizuku 则优雅得多——只需要在电脑上启动一次（或通过 Android 11+ 的无线调试），之后肉包就能获得 ADB 级别的权限，且无需 Root。

类 Claude Code 的双层 Agent 架构

肉包的设计深受 Claude Code 启发，实现了 Tools + Skills 双层 Agent 框架：

图2：肉包双层 Agent 架构演示

Tools 层（原子能力） 封装了底层操作接口：搜索应用、打开 App、DeepLink 跳转、剪贴板读写、Shell 命令、HTTP 请求等。每个 Tool 都是一个独立能力，可自由组合。

Skills 层（用户意图） 面向具体任务，将自然语言指令映射为可执行的操作序列。它支持两种执行模式：

• Delegation（委托）：高置信度匹配时，直接通过 DeepLink 打开有 AI 能力的 App（美团外卖 AI、豆包、即梦）完成任务，一步到位，速度最快。
• GUI 自动化：对于没有 AI 能力的 App（微信、美团），通过截图→分析→操作循环逐步完成，Skill 提供操作步骤指导提高成功率。

这种"能委托就委托，委托不了就自己动手"的策略，是肉包区别于其他方案的显著特点。

核心功能详解

智能 AI Agent 基于视觉语言模型（VLM），能够真正"看懂"屏幕内容，而非依赖坐标或 UI 元素属性。支持通义千问 Qwen-VL、OpenAI GPT-4V 和 Claude 三个主流 VLM，API 配置可一键切换，支持本地模型（Ollama、vLLM）。

Material 3 精心设计 UI，是作者颇为自豪的亮点。事实也确实如此，在一众手机自动化开源项目中，肉包的 UI 几乎是最用心的——现代化设计语言、流畅动画、深浅主题自适应、双语界面（中文/English）。

图3：肉包 App 能力展示页面

安全保护机制 值得称道：API Key 用 AES-256-GCM 加密存储；检测到支付、密码等敏感页面自动停止任务；执行全程有悬浮窗显示进度，用户可随时手动终止；可选的崩溃上报可在设置中关闭。

技术架构：Kotlin Native 的 Agent 之旅

肉包的代码结构清晰分层：

• Agent 层：移植自 MobileAgent-v3，包含 Manager（规划）、Executor（执行）、Reflector（反思）、Notetaker（记录）四个子 Agent，构成完整的规划-执行-反思循环。
• Tools 层：ToolManager 统一管理原子能力，封装为 search_apps、open_app、deep_link、clipboard、shell、http 等工具集。
• Skills 层：SkillManager 做意图识别，决定走 Delegation 还是 GUI 自动化路径，skills.json 配置文件中定义具体 Skill 行为。
• VLM Client：统一的视觉语言模型接口，屏蔽不同 API 的差异。
• Controller 层：通过 Shizuku 获得系统级控制能力，执行 screencap、input tap、input swipe 等操作。

上手体验

安装过程对普通用户有一定门槛：需要 Android 8.0+、安装 Shizuku 并完成无线调试授权（Android 11+ 推荐无线方式，只需电脑操作一次）、配置 VLM API Key（国内推荐阿里云百炼通义千问）。完成后，体验相当流畅——对着手机说"帮我点附近好吃的汉堡"，肉包就会自动打开外卖 App 一步步完成操作。

图4：肉包执行记录页面

局限与挑战

肉包并非完美无缺。作为 APK 安装包，它无法像 Web 应用那样直接在服务器上部署——这不是项目的缺陷，而是产品形态的本质差异。对于习惯服务端部署的用户，这一点需要明确认知。

此外，Shizuku 依赖无线调试或一次性电脑 ADB 操作，对完全不懂技术的用户仍有门槛；VLM API 需要额外付费（虽然通义千问有免费额度）；部分复杂任务（如跨多个 App 的协作流程）执行成功率仍有提升空间。

v2.0 路线图

目前 v2.0 正在 roubao2.0+AccessibilityService 分支开发中，核心改进包括：集成 AccessibilityService 实现更精准的元素索引点击（不受屏幕分辨率影响）、完整的 UI 树感知能力、以及宏脚本录制/回放系统。这意味着未来肉包的操作将更稳定、更可控。

行业意义

肉包代表了移动端 AI Agent 的一个重要方向——把 AI 能力真正交到终端用户手中，而非停留在"极客玩具"阶段。从豆包手机助手的爆火可以看出市场对这类产品的强烈需求，而肉包的开源性质意味着任何人都可以在其基础上定制、扩展。MIT 许可证 + Kotlin 原生实现，为移动端 AI Agent 的发展提供了一个高质量的技术起点。

随着 v2.0 引入 AccessibilityService 和宏脚本系统，肉包正在从"展示可能性"向"可信赖的日常助手"进化。移动端 AI Agent 这个赛道，才刚刚开始。