OM1
模块化机器人AI运行时,让LLM驱动真实机器人完成感知-推理-执行闭环
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
模块化机器人AI运行时,让LLM驱动真实机器人完成感知-推理-执行闭环
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
清晨七点,一台四足机器狗正沿着走廊巡逻。它的摄像头捕捉到前方地上的一个背包——不是障碍物,而是某位早起的同事忘在这里的。机器狗停下脚步,通过内置的自然语言模型判断出这是"有人丢失物品"的场景,随即发出语音提示:"检测到地面有背包,是否需要通知失主?"
这不是科幻电影,而是 OpenMind OM1(OpenMind/OM1,GitHub ★2,808)正在实现的日常。
传统机器人编程是"预设动作"的集合——遇到什么情况,执行什么动作。问题在于,现实世界千变万化,语言指令充满歧义,传感器数据需要实时理解。一台优秀的机器人不仅要能跑能跳,更要能感知、理解、决策、执行——这正是 LLM(大语言模型)最擅长的事。
OM1 由 OpenMind 公司于 2025 年 1 月发布,是一个专门为机器人设计的模块化 AI 运行时框架。它的核心使命是:让开发者无需从零构建 AI 能力,只需专注于机器人本体和业务逻辑,LLM、多模态感知、自然语言交互等能力由 OM1 提供开箱即用的模块。
项目的创始团队背景值得关注:OpenMind 与机器人公司(如 Unitree 宇树)、数据平台(如 DIMO)有深度合作,OM1 的设计从一开始就是"实战驱动"而非"学术导向"。
OM1 的架构分为三大层次,构成了一个完整的机器人 AI 闭环:
第一层:多模态输入(Inputs)
OM1 支持极为丰富的传感器数据接入。摄像头(RGB-D 深度相机)、麦克风(ASR 语音识别)、GPS、蓝牙信标等均可作为输入源。以 d435_provider(Intel RealSense D435 深度相机)为例,机器人可以实时获取空间深度信息,用于避障和物体定位。asr_provider 则接入语音识别,将用户的语音指令转为文字,再交给 LLM 处理。
第二层:智能推理(LLM)
这是 OM1 的核心。LLM 层通过插件化设计支持几乎所有主流模型服务:
| 模型提供商 | 支持状态 |
|---|---|
| OpenAI (GPT-4o, GPT-4o-mini) | ✅ 官方插件 |
| Anthropic (Claude) | ✅ 官方插件 |
| Google Gemini | ✅ 官方插件 |
| xAI (Grok) | ✅ 官方插件 |
| DeepSeek | ✅ 官方插件 |
| Meta (Llama) | ✅ 官方插件 |
| Ollama (本地部署) | ✅ 官方插件 |
| NearAI | ✅ 官方插件 |
| Qwen (通义千问) | ✅ 官方插件 |
| OpenRouter (统一网关) | ✅ 官方插件 |
开发者可以在配置文件中自由切换模型服务商,甚至使用 parallel_llm 插件让多个模型同时推理、比较结果。此外,functiongemma 插件支持 Google 的开源 Function Calling 模型,可在本地运行函数调用逻辑。
第三层:动作执行(Actions)
推理结果通过动作模块落地。OM1 内置丰富的动作插件:move(运动控制)、face(人脸识别+表情)、emotion(情绪合成)、gps(定位)、arm_g1(G1 机械臂控制)、emergency_alert(紧急告警)等。以 move 为例,机器人接收"前进三米"的指令后,通过 ROS2/Zenoh 协议向电机控制器下发运动命令,实时修正路径偏差。
OM1 在通信层选择了两套 DDS(Data Distribution Service)中间件:Eclipse Zenoh 和 CycloneDDS。作者在文档中明确推荐 Zenoh 作为新项目首选,原因在于 Zenoh 的去中心化设计、超低延迟(亚毫秒级)和原生支持云-边-端场景。
ROS2(Robot Operating System 2)是机器人领域的事实标准框架。OM1 将 LLM 的自然语言处理能力与 ROS2 的运动控制能力桥接:LLM 负责"理解任务意图",ROS2 负责"驱动具体关节"。这种解耦设计让同一套 AI 能力可以无缝移植到不同机器人平台——从宇树 GO2 四足机器狗,到 G1 人形机械臂,再到 TurtleBot 4 教育机器人。
打个比方:如果传统机器人开发是"手写汇编",那么 OM1 就像给机器人装上了"AI 操作系统"。在没有 OM1 的情况下,开发者需要自己搞定:LLM API 对接、函数调用格式设计、语音识别集成、ROS2 通信调试……每个环节都可能踩坑。OM1 把这些都封装成了可配置的模块,开发者只需用 JSON5 写配置文件,就能定义机器人的行为逻辑。
这套"行为即配置"的设计哲学极为优雅。例如 greeting_conversation.json5 配置文件中定义了"问候对话"的流程:触发条件 → 播放 TTS 语音 → 等待用户回应 → LLM 解析意图 → 执行对应动作。无需写一行 Python,即可定义一个完整的交互场景。
OM1 对硬件要求相对友好。CPU 推理依赖云端 API(OpenAI、Claude 等),本地不需要 GPU。但如果你选择使用 Ollama 本地部署 Llama/Qwen 模型,或运行视觉模型(Ultralytics YOLO 目标检测),则建议配备 8GB+ 显存的 GPU。
安装方式有两种:
docker-compose up 即可启动全部组件,包含 Prometheus + Grafana 监控栈。容器内已编译好 CycloneDDS,环境变量自动配置。uv 包管理器、ALSA 音频驱动(Linux/macOS)。对于 ROS2 机器人,还需要安装 ROS2 Humble 或 Iron。OM1 的 entrypoint.sh 脚本做了大量环境自检,包括音频设备检测、模型 API Key 验证等,降低了新手的试错成本。
OM1 并非银弹,以下几点需要客观看待:
第一,实时性瓶颈。 LLM 云端推理存在网络延迟(通常 500ms-2s),对于需要毫秒级响应的运动控制场景,OM1 更适合"任务级"决策(如"去厨房拿水"),而非"关节级"控制(PID 电机调速)。项目方也在探索本地小模型推理来弥补这一短板。
第二,云端依赖。 默认配置需要 OpenAI/Anthropic 等 API Key,API 费用不可忽视。虽然支持 Ollama 本地模型,但需要额外的硬件投入和模型调优。
第三,学习曲线。 OM1 的模块化设计固然优雅,但配置文件的 JSON5 语法、ROS2 通信概念、Zenoh 中间件等对新手仍有一定门槛。项目文档较为完善,但缺少端到端的"从零到机器人对话"的实战教程。
第四,监控复杂度。 Grafana + Prometheus 监控栈虽然强大,但对于只想简单跑起来的用户来说略显"重"。
OM1 的出现反映了 AI 领域的一个大趋势:基础模型能力正在从"云端对话"下沉到"物理世界执行"。2024-2025 年,以 Figure、1X、宇树为代表的机器人公司相继获得大额融资,背后共同的技术推手正是 LLM 的语言理解和推理能力。
OM1 的价值不在于"做了一个别人没做过的事",而在于把原本只属于顶级机器人实验室的能力,做成了开源可复用的框架。它降低了 AI 机器人开发的门槛,让更多开发者可以专注于应用创新而非基础设施重复造轮子。
从增长曲线看,OM1 自 2025 年 1 月发布以来获得了近 3,000 颗 GitHub 星标(同期类似项目平均增长 500-800 ★),增长趋势得分为 52.49,属于快速成长期。创始团队持续活跃更新(最近提交 2026-06-09),项目生态正在扩展——包括 MCP(Model Context Protocol)服务器扩展、Discord 集成、TiDB 数据库支持等。
如果你对 AI 机器人、多模态感知、或 LLM 在物理世界的应用感兴趣,OM1 是今年最值得关注的项目之一。