llm-colosseum

让大模型在街霸III里一决高下

想象一个这样的场景：两个大模型各自操控《街霸III》中的角色，在实时的像素战场上你来我往、见招拆招——这不是玩笑，而是 LLM Colosseum 正在做的事。这个开源项目用格斗游戏作为大模型能力评测的全新竞技场，让 GPT-4o、Mistral、Pixtral 等模型真刀真枪地比拼反应速度、策略深度和适应能力。

背景：为什么用格斗游戏评测大模型？

传统的大模型评测基准（如 MMLU、GSM8K）侧重于静态问答或数学推理，无法衡量模型在实时决策环境下的表现。而格斗游戏天然具备以下评测维度：

• 速度：实时的游戏机制要求模型在毫秒级时间内完成推理并输出动作；
• 策略深度：需要预判对手行为，规划连招组合，Think 50 Moves Ahead；
• 跳出思维定式：用出人意料的招式打乱对手节奏；
• 适应能力：从失败中学习，及时调整策略；
• 韧性：在一整局比赛中保持稳定的决策质量。

LLM Colosseum 基于 DIAMBRA Arena 游戏环境，该环境封装了《街霸III：第三击》（Street Fighter III: 3rd Strike）的核心逻辑，提供了标准化的动作空间（18个动作）和观测接口。

核心架构：TextRobot 与 VisionRobot

项目实现了两种 Agent 模式：

TextRobot：将游戏状态转换为文本描述发送给 LLM，包括双方角色的位置坐标、生命值、能量槽、上一回合的动作历史等。LLM 根据这段文字上下文输出下一步的行动指令。代码位于 agent/robot.py，核心决策循环为：

def plan(self):
    if len(self.next_steps) > 0:
        return  # 已有动作队列，直接执行
    next_steps_from_llm = self.get_moves_from_llm()
    # 将 LLM 返回的招式名翻译为游戏按键序列
    next_buttons = [
        button
        for combo in next_steps_from_llm
        for button in META_INSTRUCTIONS_WITH_LOWER[combo][self.current_direction.lower()]
        + [0] * NB_FRAME_WAIT  # 每按键后等待1帧
    ]
    self.next_steps.extend(next_buttons)

VisionRobot：直接将游戏截图发给多模态大模型（如 GPT-4o-vision、Pixtral），让模型基于视觉输入做出反应。这种模式更接近人类玩家的感知方式，考验的是模型的视觉理解和实时推理能力。

技术栈：LlamaIndex + DIAMBRA + 多后端 LLM

项目以 LlamaIndex 作为 LLM 调用的核心抽象层，支持以下服务提供商：

agent/llm.py 中的 get_client() 和 get_client_multimodal() 函数负责根据模型字符串前缀（如 openai:gpt-4o）动态路由到对应 provider，非常适合进行多模型横向对比实验。

评测体系：ELO 积分排行榜

项目通过大量对战（目前已进行 546 场）积累数据，使用 ELO 评分系统对各模型进行排名。部分结果如下：

值得注意的是，Claude 3 Sonnet 因频繁拒绝和 API 延迟较高排名靠后——这揭示了 实时性要求与 内容安全策略之间的矛盾，也说明了不同模型在特定评测维度上的取舍差异。

部署方式

项目提供两条部署路径：

Docker 部署（推荐）：

docker build -t diambra-app .
docker run --name diambra-container -v ~/.diambra/roms:/app/roms diambra-app

docker-compose 方式：可一键启动包含 Ollama 本地模型的完整环境。

本地部署需手动完成：下载游戏 ROM → 安装依赖 → 配置 API Key → 运行 make local。

无论哪种方式，游戏 ROM 是必须的，这是部署的唯一门槛。

局限与争议

1. 评测维度偏向即时反应：街霸的评测场景与大多数实际应用（代码生成、对话、推理）差距较大，模型在此场景的排名不一定能泛化到其他任务；
2. Claude 系列系统性低估：Claude 的内容安全策略导致在格斗游戏中"拒绝出击"，这更像是产品策略而非能力不足；
3. 依赖专有 API：虽然支持 Ollama 本地部署，但官方评测基于 OpenAI/Mistral 等云端 API，存在成本和隐私问题；
4. 游戏 ROM 法律问题：部署需要持有《街霸III》的合法副本，版权问题可能限制某些用户的上手。

行业意义

LLM Colosseum 代表了 LLM 评测从"静态问答"向"动态交互"演进的一个有趣方向。与 RL 模型不同，LLM 对环境有完整认知，能基于上下文做出有意图的决策——这个项目用最直观的方式呈现了这一点。

它也让我们思考：在真实时间压力下，模型的"思考"能力与"反应"速度之间如何权衡？ 这个问题对 Agent 系统、游戏 AI、实时助手等场景都有直接的参考价值。

项目主页：https://llm-colosseum.phospho.ai
在线体验：https://llm-colosseum.phospho.ai
排行榜：https://huggingface.co/spaces/junior-labs/llm-colosseum
仓库：https://github.com/OpenGenerativeAI/llm-colosseum
许可证：MIT
主要语言：Jupyter Notebook
Stars：1483 | Forks：180
主题标签：benchmark, genai, llm, streetfighterai