VL-Rethinker：让视觉-语言模型学会"回头看"

图1：VL-Rethinker 概览 — 通过强化学习激励 VLM 进行自我反思

当你做数学题卡住时，是不是会停下来回顾一下哪里想错了？这种"回头看"的能力，GPT-o1 和 DeepSeek-R1 在纯文本领域已经做到了。但同样的事情放到图像理解里——比如看图表推理、结合图文答题——这些模型的表现却几乎和"快思考"模型没什么差距。香港科技大学和 TIGER 实验室的这项研究，正是想解决这个痛点。

慢思考缺失：多模态模型的阿喀琉斯之踵

2023 年以来，"慢思考"系统（Slow-Thinking）横扫了数学和代码基准测试。GPT-o1 在 AIME、MATH 等纯文本任务上领先 GPT-4o 超过 20 个百分点。然而，一遇到视觉语言模型（VLM），这个优势就消失了。在 MathVista、MathVerse、MathVision 等多模态推理基准上，GPT-o1 的表现和普通的"快思考"模型几乎持平。

香港科技大学和 TIGER 实验室的研究团队在论文中指出了核心问题：GPT-o1 在视觉推理上"慢"不起来。原因并非多模态模型不够强大，而是缺乏有效的机制激励它们像文本推理那样进行自我反思和验证。蒸馏 GPT-o1 的思路也不理想——它本质上是"抄答案"而非"学会反思"。

两条核心技术路径：SSR + Forced Rethinking

VL-Rethinker 提出了两套互补的技术方案，来激励 VLM 的自我反思能力。

Selective Sample Replay（SSR）：训练样本的"精英选拔"

在大规模数据上训练 72B 参数模型时，团队发现了一个棘手现象——"优势消失"（Vanishing Advantages）：模型在大量样本上已经表现不错，梯度信号变得极其微弱，有效训练样本迅速枯竭。这与 DAPO 论文的发现不谋而合。

DAPO 从梯度稳定性角度出发，过滤掉低效样本。VL-Rethinker 则采用了主动学习的思路——借鉴优先经验回放（Prioritized Experience Replay），根据样本的信息量重新排序：那些靠近模型能力边界的样本（即模型"差一点就能做对"的问题）信息量最大，正确利用它们可以把训练效率推向极致。SSR 的实现代码在 openrlhf/trainer/ppo_utils/active_sampling() 中。

Forced Rethinking：强制触发"回头看"机制

光有好的训练样本还不够。团队发现，即使有高质量数据，RL 训练出来的模型自我反思和自我验证行为依然有限——模型倾向于直接给出答案，而非停下来重新审视推理过程。

Forced Rethinking 的思路很巧妙：在 RL 训练的初始 rollout 末尾，强制附加一个文字触发词（如 "Let me re-examine this"），显式地引导模型在给出最终答案之前，先进行一步自我反思。这相当于给模型的思维链安装了一个"暂停键"，让它养成回头检查的习惯。

架构解析：站在 OpenRLHF 肩膀上

VL-Rethinker 的训练框架基于 OpenRLHF——一个基于 Ray 的高性能 RLHF 框架，底层依赖 DeepSpeed 进行分布式训练。整体架构模块化程度很高：

基座模型采用 Qwen2.5-VL（7B 和 72B 两个尺寸），通过 transformers 库（从 main 分支构建）加载，依赖 qwen_vl_utils 进行视觉 token 处理。训练支持 DeepSpeed ZeRO-3 分片和多节点 Ray 集群，显存要求极高：单卡 7B 模型至少需要 40GB 显存，72B 模型则需要 8 卡 A100/H100 集群。

数据集 ViRL39K：39,000 个经过精心筛选的视觉推理问题

高质量的数据是 RL 的灵魂。ViRL39K 数据集包含 39,000 条经过严格质量控制的视觉问答样本，覆盖 8 大类别：从中小学数学题到更广泛的 STEM 和社会学科，涵盖图表、图解、表格、文档、空间关系等多种视觉形态。每条数据都配有可规则验证的答案，确保 reward 信号可靠。此外，数据集还提供了细粒度的模型能力标注，方便按模型规模选择训练子集。

硬核性能：开源 SOTA，与 GPT-o1 差距大幅缩小

VL-Rethinker 的核心成果是一组经过 RL 微调的模型：

• VL-Rethinker-7B：基于 Qwen2.5-VL-7B-Instruct 微调
• VL-Rethinker-72B：基于 Qwen2.5-VL-72B-Instruct 微调

在三大视觉推理基准上，72B 模型取得了突破性成绩：

除了数学视觉基准，VL-Rethinker 在跨学科多模态基准上同样表现突出：在 MMMU-Pro、EMMA、MEGA-Bench 等基准上实现了开源模型最高分数（open-source SOTA），与 GPT-o1 的差距大幅缩小。

上手门槛：这不是一个"pip install"的项目

实事求是地说，VL-Rethinker 的部署难度相当高。团队提供的安装流程（installation.md）需要：

1. conda 创建 Python 3.10 环境
2. 从源码安装（pip install -e .[vllm]），依赖 vLLM 推理引擎、DeepSpeed、Ray 等重型依赖
3. 单独编译 flash_attn（需要 CUDA 环境）
4. 多机多卡训练还需要降级 DeepSpeed 到 0.15.0 以避免兼容性问题
5. 涉及 vLLM 和 Qwen2.5-VL 的多个已知名 bug，需要手动 apply workarounds

推理阶段相对友好一些——vLLM >= 0.7.2 可以高效批量推理，HuggingFace 上也提供了预训练好的 7B 和 72B 模型权重，可以直接加载使用。HuggingFace Spaces 上还有在线 Demo 供快速体验。

研究局限性：不回避的坦诚

论文团队在 GitHub README 中坦诚列出了几个未完成模块：inference and evaluation code 标注为"进行中"，意味着目前代码库主要提供训练代码，复现完整评估流程需要一定额外工作。此外，Forced Rethinking 中的触发词（rethinking trigger）目前是手工附加的，自动化程度有提升空间。72B 模型的训练还需要多节点 GPU 集群，普通研究者难以复现。

行业意义：从"会看图"到"看懂图"的关键一步

VL-Rethinker 的价值不只在于刷榜。它证明了通过纯 RL（不蒸馏）可以让视觉-语言模型真正学会"慢思考"，这对未来多模态 AI 的发展路径有重要启示：

• 方法论贡献：SSR 展示了主动学习与 RL 训练的协同价值，为后续"RL for Vision"研究提供了新范式
• 工程贡献：OpenRLHF + Qwen2.5-VL 的集成方案已被多个团队参考复用
• 数据贡献：ViRL39K 的细粒度能力标注，是多模态 RL 社区的重要基础设施

从 Stars 增长曲线看，该项目自 2025 年 4 月发布以来稳定增长，随着 NeurIPS 2025 会议临近（论文已中稿），关注度有望进一步上升。它代表了一个明确趋势：多模态推理的下一步，是让模型学会自己审视自己的视觉理解过程，而不只是被动地生成答案。