Benchmarking Graph Neural Networks：图神经网络的标准竞技场

图1：Benchmarking GNNs 基准测试框架整体架构（来源：arXiv:2003.00982）

背景：GNN 崛起时代的"公平裁判"需求

2019年前后，图神经网络（Graph Neural Networks，GNN）正处在爆发期。从学术论文到工业落地，各种 GNN 变体层出不穷——GCN、GAT、GIN、GraphSAGE……每个新架构都声称自己性能更好。但一个核心问题始终没有答案：这些 GNN 到底谁更强？在什么任务上强？在什么条件下强？

大多数论文的评测都在各自定义的数据集和实验设置下进行，结果很难直接对比。有的论文用 Cora/Citeseer/Pubmed 三个标准数据集，有的用蛋白质相互作用网络，有的用分子图——数据集不同、训练细节不同、超参数不同，想要客观评判 GNN 能力几乎不可能。这就是 Benchmarking GNNs 项目诞生的背景：为图神经网络建立一套系统化、可复现、公平公正的评测基准。

该项目由 Vijay Prakash Dwivedi（纽约大学）、Chaitanya K. Joshi、Anh Tuan Luu、Thomas Laurent、深度学习泰斗 Yoshua Bengio（Bengio 三兄弟之一）和 Xavier Bresson（多伦多大学）联合开发，论文发表于机器学习顶会 JMLR 2023，至今已被引用超过 2000 次，是图学习领域影响力最大的基准研究之一。

核心设计：三层任务 × 多种架构的矩阵式评测

Benchmarking GNNs 采用模块化设计，将评测拆解为三个核心层次：

1. 多任务覆盖

项目涵盖了图学习中最典型的 5 类任务：

• 节点分类（Node Classification）：如 WikipediaCS、PATTERN、CLUSTER 数据集，预测图中每个节点的类别
• 图分类（Graph Classification）：如 TU-Molecules（DD 蛋白质结构、ENZYMES 酶、PROTEINS）、CSL（循环图），对整个图进行分类
• 边分类（Edge Classification）：如 COLLAB（论文合作者关系）、TSP（旅行商问题图），预测图中边的属性
• 图回归（Graph Regression）：ZINC、AQSOL 分子数据集，预测分子属性（如溶解度、毒性）
• 多任务学习：GraphTheoryProp（图论属性）和 CYCLES 数据集，同时预测多个图论指标

2. 丰富的 GNN 架构覆盖

评测覆盖了 9 种主流图神经网络架构：

其中 MLP 作为基线对照，目的是验证"图结构信息是否真正有用"——如果 MLP 效果和 GNN 持平，说明图结构在这个任务上不重要。

3. 超大规模配置

项目提供了从 10k 到 500k 参数量的多种训练配置，用于评估 GNN 在不同数据规模下的表现差异。作者还引入了 位置编码（Positional Encoding，PE） 机制，对比有/无 PE 对不同 GNN 能力的影响——这是后续 Transformer 时代图模型的重要伏笔。

技术架构：PyTorch + DGL 的强强联合

项目基于 PyTorch 1.6.0 和 DGL（Deep Graph Library）0.6.1 构建。DGL 是亚马逊团队开源的图学习框架，提供了统一的 API 来操作不同类型的图神经网络底层计算图。项目的代码结构非常清晰：

• layers/：7 种 GNN 层实现（GCN、GAT、GIN、GraphSAGE、MoNet、GatedGCN、RingGNN、3WL-GNN）
• nets/：10 种任务网络，每个任务对应一个子目录，定义该任务使用的 GNN 类型
• train/：统一的训练流程（metrics.py 负责评价指标，train_*.py 负责各任务训练逻辑）
• configs/：200+ 份 JSON 配置文件，覆盖所有（架构 × 数据集 × 参数量）组合
• data/：数据集下载脚本和预处理逻辑
• utils/：共享工具函数

这种结构使得添加新的 GNN 架构或新数据集非常方便——只需在对应目录新增文件，无需修改核心训练逻辑。项目提供了详细的文档（docs/ 目录下 6 份 Markdown 文件），一步步指导用户如何添加新数据集和新的消息传递 GNN。

关键发现：哪些 GNN 真正有效？

Benchmarking GNNs 的核心贡献不只是工具本身，更是通过系统性实验揭示的若干重要发现：

GatedGCN 是"全能选手"。 在大多数任务上，GatedGCN 表现出色，兼具表达能力和训练稳定性。相比之下，经典的 GCN 在许多任务上表现平庸——这让当时的很多"GCN刷榜"论文受到了质疑。

图结构的重要性取决于任务。 在分子图回归任务（ZINC、AQSOL）中，GNN 显著优于 MLP，验证了图结构信息的关键作用。但在某些简单的节点分类任务上，MLP 的差距并没有想象中大——这说明不是所有任务都需要复杂的图建模。

位置编码（PE）是一把双刃剑。 加入 PE 后，某些 GNN（如 GatedGCN）在需要区分同构子结构的任务上表现大幅提升，但在其他任务上反而可能带来过拟合风险。

3WL-GNN 的潜力被低估。 超越 Weisfeiler-Lehman 测试（1-WL）限制的 3WL-GNN 在一些复杂结构识别任务（如 PATTERN）上明显优于传统 GNN，但训练复杂度也更高。

上手体验：适合科研，不适合快速部署

作为研究工具，Benchmarking GNNs 的设计是成功的——它有完整的文档、详细的配置文件和 Jupyter Notebook 支持，方便研究者复现结果和扩展。但作为开源项目，它的部署门槛并不低：

• 环境依赖复杂：需要 CUDA 10.2、cuDNN 7.6.5、PyTorch 1.6.0、DGL 0.6.1 等一套精确匹配的版本组合。Python 3.7.4 的硬性要求在 2024 年后可能带来兼容性问题。
• 数据集体积庞大：完整下载所有数据集需要数十 GB 存储，且下载脚本需要手动执行。
• 训练资源要求高：500k 训练步数的配置需要高端 GPU 才能在合理时间内完成。
• 无 Web UI：纯命令行工具，不适合非技术用户。

不过，项目提供的 conda 环境文件（environment_gpu.yml / environment_cpu.yml）大幅简化了环境配置，用户只需一条 conda env create -f environment_gpu.yml 即可完成依赖安装。

局限性与争议

项目发布后也引发了一些讨论：

• 版本过时：PyTorch 1.6.0 发布于 2020 年，当前主流已是 PyTorch 2.x + DGL 1.x，新用户可能面临依赖兼容问题。
• 缺乏自动化实验管理：没有集成 WandB 或 MLflow，实验结果需要手动记录和对比。
• 参数量评估维度单一：仅以"40k / 100k / 500k"三档参数量来控制模型复杂度，忽略了层数、隐藏维度等更细粒度的控制变量。

这些问题在后继的 GNN 基准项目中逐步得到改进（如 OGB 基准套件），但 Benchmarking GNNs 作为先驱者的地位不可替代。

行业意义：图学习研究的"定海神针"

Benchmarking GNNs 的出现，标志着图神经网络研究从"百花齐放、难以比较"进入"系统化、可复现"的新阶段。它深刻影响了后续的 GNN 研究范式：

1. 推动 GNN 公平评测文化：此后新提出的 GNN 架构必须在公认基准数据集上与已有方法对比成为学术惯例。
2. 为 OGB 等更大规模基准铺路：OGB（Open Graph Benchmark）在 Benchmarking GNNs 的基础上，将基准评测扩展到了更大规模、更真实的工业数据。
3. 促进 GNN 工程实践：项目揭示的实验现象（如 GatedGCN 的普适性）为工业界选择 GNN 方案提供了数据支撑。
4. 催生新研究方向：PE + GNN 的实验发现，直接推动了 2021 年后"Graph Transformer"和"位置编码"方向的热潮。

对于今天的 AI 研究者和工程师来说，Benchmarking GNNs 依然是理解图神经网络能力边界的重要参考——不是最好的工具，但是最有历史价值的工具之一。