DiscoveryWorld：AI 科学发现 Agent 的虚拟实验室

想象这样一个场景： 一位 AI Agent 身处一间虚拟实验室，面对一块来历不明的古代陶器。它需要综合运用放射性碳14测年法、化学成分分析、文献检索等多种手段，在有限的步数内推断出陶器的制作年代和来源——这不是科幻，而是 DiscoveryWorld 正在测试的核心能力。

项目起源：为什么需要虚拟科学实验室？

真实世界的科学实验成本高昂、周期漫长，且很多发现具有不可逆性。对于 AI 研究者来说，如何系统性地评估 Agent 的「从零开始做科研」能力，长期缺乏标准化的测评工具。

DiscoveryWorld 由艾伦人工智能研究所（Allen Institute for AI，Ai2）于 2024 年发布，被接受为 NeurIPS Datasets and Benchmarks 2024 Spotlight 论文。它是首个专为评估 AI Agent 完成端到端科学发现能力而设计的虚拟环境，前身是 2022 年发布的 ScienceWorld（测试基础科学实验能力）。

什么是 DiscoveryWorld？

DiscoveryWorld 是一个基于 Python + Pygame 构建的 2D 网格世界虚拟环境，模拟了一个可以进行多学科科学研究的数字实验室。Agent 以文本观测（text observation）作为输入，通过 API 与环境交互，执行各类科学动作，最终产出可量化的发现成果。

核心交互机制：

• Observation：Agent 感知到的环境文本描述（当前位置、视野内物体、可用工具等）
• Action：Agent 可执行的科学动作（测量、混合、检索、推理等）
• Task：一个完整的科学发现挑战（如用放射性测年法确定标本年龄）

系统架构：

Agent (HypothesizerAgent / RandomAgent / RECOMA)
    │  Observation (文本)
    ▼
┌─────────────────────────────────────┐
│  DiscoveryWorldAPI.py              │
│  · handleAction()                  │
│  · getObservation()                │
│  · getScore()                      │
└─────────────────────────────────────┘
    │
    ▼
┌─────────────────────────────────────┐
│  DiscoveryWorld 虚拟环境核心         │
│  · Layer.py（世界层）               │
│  · ObjectMaker.py（科学对象）       │
│  · ScienceHelpers.py（科学计算）    │
│  · ScenarioMaker.py（场景生成）     │
└─────────────────────────────────────┘

覆盖哪些科学领域？

DiscoveryWorld 包含 8 大科学主题 × 3 个难度级别 = 120 个挑战任务：

1. 放射性同位素测年（Radioisotope Dating） — 测量半衰期推断年龄
2. 火箭科学（Rocketry） — 计算轨道、燃料配比
3. 蛋白质组学（Proteomics） — 分析氨基酸序列找标记物
4. 解剖学（Anatomy） — 通过观察推断生物体结构
5. 显微镜学（Microscopy） — 借助设备观察微观结构
6. 地层学（Stratigraphy） — 分析地层推断地质历史
7. 混合化学（Mixture Chemistry） — 配平化学方程式
8. 电路诊断（Circuit Diagnosis） — 调试电路故障

图1：当前最强 Agent 在各难度级别下的表现（可见 Challenge 难度对所有模型都是巨大挑战）

评分体系：三重指标

DiscoveryWorld 提供了三类自动化评分指标，衡量 Agent 科学发现的不同维度：

• 任务完成度（Task Completion） — 是否达成了核心发现目标
• 动作相关性（Action Relevance） — 执行的动作是否指向正确方向
• 知识发现度（Knowledge Discovery） — 是否产出了有意义的科学解释

图2：DiscoveryWorld 自动评分卡样例

内置基准 Agent

项目自带三类基准 Agent，帮助研究者快速上手评测：

Agent	类型	说明
RandomAgent	随机基线	随机选择动作，作为最基础的性能参照
HypothesizerAgent	GPT-4 驱动	基于 GPT-4 的假设生成 Agent，理解任务后逐步探索
RECOMA	React/Plan&Execute	来自 Ai2 内部的 React + 计划执行框架基线

其中 RECOMA（Reasoning-Communicating Agents）支持两种推理模式：

• React — 边推理边行动，实时调整策略
• Plan&Execute — 先规划再执行，适合需要长期战略的任务

技术栈一览

• 核心语言：Python 3.8+
• 渲染引擎：Pygame（2D 可视化）
• AI 集成：OpenAI API（GPT-4 / GPT-4-Turbo）
• 依赖库：numpy（科学计算）、pathfinding（A*寻路）、tiktoken（token 计数）、matplotlib（数据可视化）
• 协议：Apache-2.0 开源许可

核心文件规模（反映代码复杂度）：

文件	规模	职责
DiscoveryWorldAPI.py	~17KB	Agent 与环境交互的统一接口
ScenarioMaker.py	~21KB	场景/任务参数化生成器
Agent.py	~30KB	Agent 基类与核心逻辑
HypothesizerAgent.py	~30KB	GPT-4 假设生成实现
ScienceHelpers.py	~8KB	各学科科学计算辅助函数

如何运行

# 克隆仓库
git clone https://github.com/allenai/discoveryworld.git
cd discoveryworld

# 安装依赖
pip install -e .

# 设置 API Key
export OPENAI_API_KEY=sk-...

# 运行默认 Agent
python scripts/analysis.py --difficulty Normal --task_theme "Space Sick"

项目还提供了 userstudy 脚本，支持招募人类受试者在相同环境中进行对照实验，直接对比人类科学家与 AI Agent 的表现差异。

当前最强 Agent 能做到什么水平？

根据 Ai2 官方博客（2024-2025）的数据：

• Easy 难度：GPT-4 等主流 Agent 完成率 ~60-80%，接近人类基线
• Normal 难度：完成率显著下降，~30-50%
• Challenge 难度：最顶尖模型完成率仅约 20%，而人类科学家（硕博学历）完成率约 70%

这意味着 DiscoveryWorld 成功捕捉到了当前 AI 在「自主科学发现」领域的核心瓶颈——不是知识储备不足，而是假设生成→实验设计→多步推理→结论验证的完整科学方法论的缺失。

与更广阔图景的连接

DiscoveryWorld 并非孤立存在。Ai2 同期还推出了 CodeScientist——一个能自主生成实验代码并执行端到端科学发现的 AI 系统，在虚拟环境中产出了 19 项有意义的发现，其中 6 项经专家验证符合科学新颖性标准。这条路线上还有 The AI Scientist、Agent Laboratory 等竞品，共同构成了「AI for Science」生态的探索前沿。

图3：艾伦人工智能研究所

局限与挑战

1. 环境真实性有限：虽然是目前最接近真实科学过程的虚拟环境，但 2D 网格世界的物理约束仍然简化了真实实验的复杂性
2. API 依赖：当前基准 Agent 高度依赖 OpenAI GPT-4 API，开源模型（如 LLaMA、Mixtral）的表现差距明显
3. 长程规划短板：需要 1000+ 步的 Challenge 任务对 Agent 的记忆衰减和多步推理提出了严峻挑战
4. 评估主观性：部分「知识发现」质量的评估仍依赖人工审核

项目影响力

• NeurIPS 2024 Datasets and Benchmarks Spotlight 论文
• 被 ScienceWorld、CodeScientist 等后续研究引用为基准环境
• GitHub 218 Stars，学术界与工业界双关注
• 推动「AI Scientist」研究方向快速发展

总结： DiscoveryWorld 是 AI 科学发现能力评估领域的里程碑式工具，它用结构化的虚拟环境填补了「AI 能否像科学家一样思考」这一核心问题的测评空白。尽管当前最强模型在 Challenge 难度下完成率仅约 20%，但这个差距本身就给整个研究社区指明了方向——当 AI Agent 能在 DiscoveryWorld 上稳定达到 70% 的人类基线时，我们或许就真正迈入了 AI 驱动科学发现的时代。