🎮 Game Playing Agents and Large Models：AI游戏博弈领域最全论文地图

BAAI-Agents/GPA-LM 是由北京人工智能研究院（BAAI）维护的一份实时更新的论文索引仓库，系统梳理了大模型时代下"游戏智能体"这一前沿方向从2023年至今的学术进展。截至分析时，该仓库收录论文超过 117 篇，按月份归档，配有发展时间轴与综述结构图，是该领域罕见的全景式知识库。

图1：GPA-LM 收录论文时间轴（2023–2024），展示该领域从萌芽到爆发式增长的全过程

---

🎯 这个仓库解决什么问题？

如果你想了解以下场景下 AI 的最新进展，这个仓库是入口：

• 《我的世界》里 AI 如何挖矿、建造、与村民对话？
• GPT-4V 级别的多模态模型能不能"看懂"游戏画面并操控角色？
• "通用计算机控制"（GCC）方向进展到哪了，AI 能否接管任意软件界面？
• 游戏环境能否成为训练具身智能体的训练场？

GPA-LM 把这些零散问题背后涉及的上百篇论文，按照时间线整理成册，每篇附上论文 PDF 和代码链接（若有）。研究者可以按月份浏览，快速找到某个时间节点的代表性工作；爱好者可以顺着时间轴，感受这个方向从"简单 RL 策略"到"多模态大模型控制"的技术跃迁。

---

📚 背景：大模型为何开始"打游戏"？

从 AlphaGo 到 GPT-4V：游戏是 AI 的永恒试金石

游戏环境一直是 AI 研究的天然实验床。2016年 AlphaGo 击败李世石，证明了 RL 在封闭规则系统中的强大能力；2023年后，以 GPT-4V、Gemini 为代表的多模态大模型（VLM）出现，AI 第一次能在开放世界的像素画面中"看到并理解"游戏场景，而不只是执行预设策略。

这一交叉方向迅速成为学术热点——游戏是现实世界的降维模拟：数据可控、可复现、风险低，同时又足够复杂，能检验 AI 的泛化能力。Cradle、VideoGameBunny、Optimus-1 等工作相继涌现，GPA-LM 正是这些工作的系统性汇总。

BAAI 的角色：国产 AI 研究的标杆力量

BAAI（北京人工智能研究院）是国内顶级 AI 研究机构，旗下的 BAAI-Agents 组织已发布多个高质量开源项目（Agents 系列、Cradle 等）。GPA-LM 作为 BAAI-Agents 维护的 awesome-list，既是科研成果，也是吸引社区参与贡献的入口——任何人可以通过提交 PR 添加新论文。

---

🔥 核心内容：收录了哪些重量级工作？

按影响力筛选的代表论文

论文	机构	核心贡献	代码
Cradle	BAAI-Agents	首个能操控任意软件界面的 foundation agent	🔗
VideoGameBunny	学术界	VLM 在游戏视频助手场景的可行性研究	🔗
Optimus-1	学术界	混合多模态记忆赋能长时序任务	🔗
Autoverse	学术界	可演化的游戏描述语言，训练具身智能体	—

四大研究方向

从论文归档来看，GPA-LM 归纳了该方向的四个主要子领域：

1. General Computer Control（GCC）：让 AI 像人一样操作鼠标键盘，控制任意软件。代表作 Cradle。
2. Minecraft Agent：在《我的世界》中完成复杂任务的 AI 系统，考验规划、工具使用、长期记忆。
3. Game-playing VLM：用视频游戏测试多模态大模型的视觉理解和决策能力。
4. Embodied Agent：具身智能体，在仿真环境中通过交互学习。

---

🛠️ 仓库结构：作为一个"产品"它是如何设计的？

README 本身就是一个完整的知识库，总计约 24,107 字，117 篇论文链接。没有任何可执行代码——这本质是一个 Markdown 文档项目，而非软件库。

社区运营设计

• "🏃 Coming soon" 预告机制：仓库声明将逐步为每篇论文添加一句话简介，降低阅读门槛
• arXiv 直链：每篇论文直接指向 arXiv PDF，读者无需跳转即可下载
• 时间线可视化：用一张 PNG 展示领域发展脉络，适合分享到社交媒体或幻灯片

---

📖 面向不同读者：怎么用这个仓库？

👤 AI 爱好者

从 2023 年初 开始读起，顺着时间轴感受领域演化：2023年的论文大多是 RL+游戏引擎的经典组合；2024年后，画风突变，VLM 开始接管一切。重点推荐读 Cradle 的论文和项目主页——这是唯一一个不需要写代码、光看 demo 视频就能 get 到震撼感的项目。

👨‍💻 AI 开发者 / 研究者

作为文献调研启动点：定位自己关心的子方向（如 GCC），按月份筛选近期工作（2024年7-8月最新），论文链接直接跳转 arXiv，代码链接跳转 GitHub。

⚠️ 注意：该仓库不提供本地检索能力（无搜索脚本），建议 fork 到本地后用 IDE 的全文搜索功能定位具体论文。

---

⚖️ 局限与不足

1. 纯文档型仓库，无代码：无法直接运行演示，对想动手实践的开发者价值有限
2. 无 Stars 趋势追踪：awesome-list 类项目天然缺乏增长飞轮，主要依赖 BAAI 的品牌背书
3. 论文信息颗粒度粗：大部分条目仅有标题+链接，缺乏摘要/方法/结论的快速概览
4. Survey_Diagram.png 资源不可达：综述图验证失败，可能影响页面的信息密度呈现
5. 内容更新可能滞后：最新论文（2024年8月后）可能尚未收录

---

📈 行业意义：从这份论文地图看 AI 游戏智能体趋势

趋势一：VLM 正在吃掉 GCC

从论文数量看，2023 年主要是强化学习（RL）主导；2024 年开始，以 VLM 为核心的工作爆发式增长。Cradle 的出现是一个标志性节点——它证明用 GPT-4V 级别的多模态模型，可以不依赖游戏 API，直接通过屏幕像素控制任意软件。

趋势二：游戏环境成为具身智能的"冷启动场"

Optimus-1、Autoverse 等工作表明，《我的世界》等沙盒游戏因其丰富的交互空间，正在替代传统仿真器成为具身智能体的训练环境。这背后是大模型记忆模块与 RL 策略的深度融合。

趋势三：学术影响力向工业落地过渡

Cradle 由 BAAI 主导，VideoGameBunny 由游戏公司支持，显示出这一方向正从纯学术研究向商业应用延伸。未来 1-2 年，预计会看到更多"游戏 AI"进入游戏直播、自动测试 NPC 等实际场景。

---

🚀 总结

GPA-LM 是一个"活着的"领域论文地图——它不提供代码实现，但提供了比代码更稀缺的东西：一个系统性的知识结构。对于想了解"大模型如何在游戏世界感知、决策、行动"的任何人，这个仓库都是目前最完整的起点。

它真正的价值不在于收录了多少篇论文，而在于回答了一个元问题：在这个 AI 与游戏深度融合的时代，研究者们到底在做什么、走到了哪里、接下来向哪去。