让大语言模型「驾驶」机器人：PromptCraft-Robotics 深度解析

你有没有想过，能不能像和人说话一样，给 AI 下达指令，让它去操控一台真实的无人机？比如对它说「起飞，飞到高度 50 米，然后绕着风机转一圈」，它就能自动生成控制代码、执行任务？

这正是微软 PromptCraft-Robotics 项目想要解决的核心问题。

从「提示工程」到「机器人控制」的跨界实验

2023 年初，ChatGPT 发布不到两个月，微软研究院就推出了这个项目。它探索的不是训练新模型，而是如何用提示工程（Prompt Engineering）让已有的 LLM（主要是 ChatGPT）直接生成机器人的控制代码。

这个想法本身就很反直觉——机器人控制需要精确的坐标、时序和硬件指令，ChatGPT 作为一个纯语言模型，真的能胜任吗？

答案是：可以，但需要精心设计的 prompt 作为「翻译层」。

PromptCraft-Robotics 的核心思路是：

1. 为机器人领域编写专用的系统提示词（System Prompt）：告诉 ChatGPT 当前控制的是什么类型的机器人、有哪些可用的 API 函数、坐标系的约定等。
2. 让它生成 Python 代码块：ChatGPT 可以在回复中输出代码，这些代码直接调用 AirSim 的 API 来操控无人机。
3. 人类用自然语言下达任务指令：用户不需要懂编程，只要描述你的意图，prompt 会帮你「翻译」成可执行的控制代码。

AirSim 模拟器：没有真机也能玩转机器人

项目使用 Microsoft AirSim 作为仿真平台。AirSim 是微软早年开源的无人机/汽车模拟器，基于 Unreal Engine 开发，能在虚拟环境中精确还原物理世界。

开发者不需要购买真实无人机，在电脑上就能运行整个实验环境。AirSim 支持：

• 多旋翼无人机控制：起飞、悬停、路径飞行、降落。
• 对象检测与定位：查询场景中特定物体的三维坐标。
• 视觉传感器：模拟摄像头，获取第一人称画面。

ChatGPT 与 AirSim 之间通过一个 Python 封装层（airsim_wrapper.py）连接，负责将生成的代码调用翻译为 AirSim 的异步 API。

代码结构：一层薄而精确的 Wrapper

项目代码结构非常精简，主要由以下文件组成：

特别值得注意的是 airsim_wrapper.py 中的对象映射字典：

objects_dict = {
    "turbine1": "BP_Wind_Turbines_C_1",
    "solarpanels": "StaticMeshActor_146",
    "car": "StaticMeshActor_10",
}

这是因为 Unreal Engine 的内部对象名是程序生成的哈希字符串，wrapper 提供了人类可读的别名，方便在 prompt 中引用。

多机器人场景覆盖

项目在 examples/ 下提供了六个机器人应用方向：

• Manipulation：机械臂操作，比如抓取、移动物体。
• Home Robotics：家用机器人，比如在室内环境中导航。
• Physical Reasoning：物理推理，理解物体间的物理关系。
• Aerial Robotics：空中机器人，即无人机相关。
• Multiple Robots：多机协同。
• Spatial/Temporal Reasoning：时空推理，理解空间位置和时间序列。

这意味着 PromptCraft-Robotics 的框架不是针对单一场景设计的，而是试图提供一个通用的 LLM 控制机器人的范式，只要替换相应的 wrapper 和 prompt，就能适配不同类型的机器人。

局限性：为什么它没有成为主流？

必须诚实地说，这个项目在 2023 年引起了关注，但后续的维护力度有限。它的局限也比较明显：

1. 严重依赖 OpenAI API：ChatGPT 调用需要 API Key，项目本质上是 OpenAI 的「付费用户」，无法离线部署。

2. AirSim 生态已经式微：微软在 2022 年底停止了 AirSim 的主动开发，项目本身也依赖较老的 Unreal Engine 4.27 版本，迁移成本高。

3. 可靠性问题：LLM 生成的代码可能包含错误（如参数顺序搞反），在没有充分测试的情况下直接控制真实机器人存在风险。

4. prompt 脆弱性：高度依赖 prompt 质量，不同任务需要精细调优，换个模型或版本可能效果大幅波动。

技术贡献与遗产

尽管有这些局限，PromptCraft-Robotics 的意义在于它开辟了一个新的研究方向：将 LLM 作为机器人技能库和任务规划器，而不仅仅是聊天工具。

后续很多研究都受到它的启发：

• 斯坦福的 RoboGPT 系列
• Google 的 PaLM-E（将 LLM 接入真实机器人）
• 开源社区的 GPT-4-Robot 等

从技术演进看，PromptCraft-Robotics 的「prompt-as-translation-layer」思路，被后来更强大的视觉-语言模型（VLM）和端到端多模态模型逐步替代。但它在 2023 年初所做的探索，为这个领域奠定了重要的认知基础。