mobile-aloha · 机器人与具身智能

一台会做饭、能收纳、还会按电梯的机器人——Mobile ALOHA

想象一下：你早上赶着出门，随口对机器人说一句「帮我把锅洗了」，然后看着它自己推着两个机械臂，绕过餐桌，拧开水龙头，把锅冲洗干净，再把它放进橱柜里。这不是科幻电影，而是斯坦福大学 Zipeng Fu、Tony Z. Zhao 和 Chelsea Finn 三位研究者用约 10 万元人民币造价打造的机器人系统——Mobile ALOHA。

机器人也能「照镜子学艺」

2023年，斯坦福团队推出了 ALOHA——一种低成本的双手遥控操作系统，学生们用它教机器人穿针引线、打麻将，轰动了整个机器人圈。 ALOHA 的核心原理叫「模仿学习」（Imitation Learning）：人类操控机器人做一遍动作，系统记录关节角度变化和摄像头画面，然后训练一个神经网络，让机器人以后能「照着做」。问题在于，ALOHA 只能做桌上作业——机械臂是固定的，够不到别的地方。于是团队在 2024 年推出了 Mobile ALOHA，给它加装了一个麦克纳姆轮移动底盘，同时操控两对（共4个）机械臂，就变成了一个能满屋子跑的「全能家务机器人」。

这套系统能做什么？

论文在 CoRL 2024 公布的演示中，Mobile ALOHA 完成了这些任务：

煎虾并装盘：拿起虾、放进锅里翻炒、加调料、夹出装盘
擦拭红酒渍：识别桌面污渍，手臂灵活擦拭
打开橱柜存放重锅：双臂配合打开双开门橱柜，放入沉重炒锅
呼叫并进入电梯：自主导航到电梯前，伸出手按下按钮，电梯门开后再驶入
冲洗锅具：在厨房水龙头下完成锅底清洁
推椅子：在办公场景中自主移动并推动办公椅
与人击掌：感知并响应人类的互动意图每个任务仅需 50 次演示数据，配合团队开源的 ACT（Action Chunking with Transformers）算法联合训练，成功率提升最高达 90%。

它是怎么「听懂指令」的？

Mobile ALOHA 并不直接理解自然语言。它的训练流程是：

人类通过手持的「主臂」（master robot）实时操控「从臂」（puppet robot）完成任务，同时 3 个 RealSense 深度相机记录主臂关节角度（14-DOF）和多视角画面
收集的演示数据存储为 HDF5 格式（.h5），包含关节状态序列和 RGB-D 图像序列
使用 ACT-plus-plus 训练 Transformer 策略模型
模型推理时输入当前观测，自动输出下一步关节动作指令这套数据格式（14-DOF + 多视角 RGB-D）目前已成为双臂操控领域的「通用语」，被广泛用于各类模仿学习研究基准。

动手门槛：普通人能复制吗？

硬件：需要 4 个 Interbotix X-Series 机械臂、一个移动底盘、3 个 Intel RealSense 相机，加上 Ubuntu 18.04/20.04 + ROS 1 Noetic 的开发环境。总成本约 10 万至 15 万元人民币。软件：代码基于 ROS 1 Noetic 开发，使用 Python + Jupyter Notebook，支持 catkin_make 构建。没有 Docker，没有 Web UI，完全面向有机器人开发经验的工程师。 上手难度：极高。需要熟悉 Linux、Dynamixel 电机调试、udev 规则配置、USB 设备绑定、ROS launch 文件编写，以及至少一名有机械臂调试经验的队友。代码本身组织清晰（aloha_scripts/ 目录包含遥操作、数据采集、回放等核心脚本），但文档主要面向有 ROS 基础的开发者。

局限与争议

没有视觉-语言对齐：不能「你说啥它做啥」，需要提前收集特定任务演示数据
泛化能力有限：同一任务的全新场景（不同位置、大小）可能需要额外训练
硬件成本仍然较高：虽然比传统研究平台便宜，但 10 万元仍是门槛
ROS 1 依赖：Ubuntu 18.04/20.04 + ROS 1 Noetic 是硬性要求，ROS 2 支持还在开发中

行业意义

Mobile ALOHA 证明了三个重要趋势： 低成本硬件 + 高质量数据 = 超越想象的操控能力：过去需要数百万元研究平台才能实现的双手协调操控，如今用消费级零件加开源算法就能做到。 「联合训练」是泛化的关键：静态 ALOHA 数据集与 Mobile ALOHA 数据联合训练，可以相互促进，显著提升各自的任务成功率。这是未来数据高效利用的重要方向。 具身智能从桌面走向移动：机器人不再只待在工位上，而是能够「走进厨房」「走向客厅」，这对家庭服务机器人领域意义深远。

图1-3：项目作者（从左至右）：Zipeng Fu、Tony Z. Zhao、Chelsea Finn，斯坦福大学 IRIS Lab / REAL Lab

一台会做饭、能收纳、还会按电梯的机器人——Mobile ALOHA

机器人也能「照镜子学艺」

这套系统能做什么？

论文在 CoRL 2024 公布的演示中，Mobile ALOHA 完成了这些任务：

煎虾并装盘：拿起虾、放进锅里翻炒、加调料、夹出装盘

擦拭红酒渍：识别桌面污渍，手臂灵活擦拭

打开橱柜存放重锅：双臂配合打开双开门橱柜，放入沉重炒锅

呼叫并进入电梯：自主导航到电梯前，伸出手按下按钮，电梯门开后再驶入

冲洗锅具：在厨房水龙头下完成锅底清洁

推椅子：在办公场景中自主移动并推动办公椅

与人击掌：感知并响应人类的互动意图每个任务仅需 50 次演示数据，配合团队开源的 ACT（Action Chunking with Transformers）算法联合训练，成功率提升最高达 90%。

它是怎么「听懂指令」的？

Mobile ALOHA 并不直接理解自然语言。它的训练流程是：

人类通过手持的「主臂」（master robot）实时操控「从臂」（puppet robot）完成任务，同时 3 个 RealSense 深度相机记录主臂关节角度（14-DOF）和多视角画面

收集的演示数据存储为 HDF5 格式（.h5），包含关节状态序列和 RGB-D 图像序列

使用 ACT-plus-plus 训练 Transformer 策略模型

模型推理时输入当前观测，自动输出下一步关节动作指令这套数据格式（14-DOF + 多视角 RGB-D）目前已成为双臂操控领域的「通用语」，被广泛用于各类模仿学习研究基准。

动手门槛：普通人能复制吗？

局限与争议

没有视觉-语言对齐：不能「你说啥它做啥」，需要提前收集特定任务演示数据

泛化能力有限：同一任务的全新场景（不同位置、大小）可能需要额外训练

硬件成本仍然较高：虽然比传统研究平台便宜，但 10 万元仍是门槛

ROS 1 依赖：Ubuntu 18.04/20.04 + ROS 1 Noetic 是硬性要求，ROS 2 支持还在开发中

行业意义

图1-3：项目作者（从左至右）：Zipeng Fu、Tony Z. Zhao、Chelsea Finn，斯坦福大学 IRIS Lab / REAL Lab