ViDoRAG：多模态文档推理的新范式，让AI「看懂」科研报告

图1：ViDoSeek 数据集收录了多种类型的视觉丰富文档，覆盖学术论文、专利、财务报告等场景。

从大海捞针到精准导航：视觉文档问答的真实困境

想象你是一个科研人员，手里有1000份PDF文档，其中某一份第23页的脚注里藏着一个关键实验参数——你该如何快速找到它？传统检索增强生成（RAG）方案在面对视觉丰富文档时显得力不从心：表格里的合并单元格、流程图中的因果关系、扫描件里的手写标注……这些非结构化视觉信息往往才是答案的关键所在。 这就是阿里巴巴自然语言处理团队（Alibaba-NLP）推出 ViDoRAG 想要解决的核心问题——在海量视觉丰富文档中进行多模态检索与推理，最终给出有据可查的精准答案。该项目在 EMNLP 2025 发表，并在 ViDoSeek 基准上取得了超过基线方法 10% 以上的性能提升。

背景：多模态RAG为何难做

视觉文档理解（Visual Document Understanding）是文档智能领域公认的最难题型之一。与普通图文交错文档不同，视觉丰富文档（Visually Rich Documents）将文本、图像、版式、表格融合为有机整体：一份年报的折线图需要结合图例文字才能理解含义，一篇论文的实验对比表格需要结合章节标题才能判断哪个数据更值得关注。 现有方案主要分为两类：单模态检索（纯文本向量检索或纯视觉向量检索）和简单融合（将视觉信息强行转为文本描述）。前者丢失了大量版式与视觉信号，后者则存在严重的信息压缩损失。ViDoRAG 的核心贡献在于引入Actor-Critic 多智能体框架，让检索与生成形成动态迭代闭环。

核心架构：三层智能体的协作博弈

ViDoRAG 的技术架构围绕一个由三个角色组成的迭代推理循环展开：Seeker（探索者）、Inspector（审查员）和Synthesizer（综合者）。整个流程模拟了人类面对复杂文档时的思维过程——先快速定位相关区域，再判断信息是否充分，最后综合输出答案。

Seeker：智能图像筛选

Seeker 接收用户的原始查询和一批候选图像，其任务是识别出与问题最相关的图像子集。它使用精心设计的 seeker_prompt，引导视觉语言模型（VLM）从多个维度评估图像与问题的关联度，最终返回一个 JSON 结构——包含推理过程、最佳图像编号列表，以及相关内容的文字摘要。核心逻辑通过 vidorag_agents.py 中的 Seeker.run() 方法实现，最多重试3次以确保输出格式正确。

Inspector：信息充分性判断

Inspector 是整个框架中最关键的角色。它评估当前已收集的图像是否足以回答问题。如果答案已充分，则进入 Synthesizer 阶段；如果发现信息缺口，则返回给 Seeker 提供「反馈」——这正是迭代的核心所在。Inspector 通过 inspector_prompt 引导 VLM 给出结构化的判断：是否可回答、当前最优答案、缺失的信息点，以及需要继续检索的图像编号。

Synthesizer：最终答案生成

Synthesizer 接收 Inspector 确认后的图像子集和问题，结合 Inspector 提供的候选答案，生成最终的结构化回答。它输出的 JSON 包含推理过程和最终答案，这是面向用户的最终输出。如果推理过程中发现格式错误，会自动重试。

GMM 动态混合检索策略

除了多智能体框架，ViDoRAG 还创新性地引入了基于高斯混合模型（GMM）的动态混合检索策略。在 search_engine.py 中，gmm() 函数对候选图像的检索得分进行高斯混合聚类，自动识别出得分分布的不同层次，从而动态决定最优召回数量。相比固定 top-K 检索，这种方法在噪声环境下更加鲁棒。检索层还支持视觉模型（如 ColQwen2）和文本模型（如 BAAI/bge-m3）的混合使用。

技术栈：站在巨人肩膀上的工程实现

ViDoRAG 的工程实现大量依赖成熟的开源生态：

• LlamaIndex（0.12.x）：作为索引和检索的核心框架，负责文档解析、节点分割和向量存储
• ColPali / ColQwen2：来自 illuin-tech 的多模态检索模型，是视觉向量化的主力
• Qwen2.5-VL（7B/72B）：阿里的视觉语言模型，支持 FlashAttention2 加速
• Transformers（>=4.49.0）：统一的预训练模型加载框架
• PyTorch 2.5.1：深度学习后端
• scikit-learn：GMM 聚类算法实现 在数据流层面，文档首先通过 OCR 或 VLM 识别转为图像（pdf2images.py、ocr_triditional.py），然后通过 ingestion.py 使用 IngestionPipeline 将图像块向量化并存储到 LlamaIndex 索引中。检索时，SearchEngine 和 HybridSearchEngine 分别处理单模态和混合多模态检索。

上手体验：科研级代码的工程门槛

ViDoRAG 并非面向终端用户的开箱即用工具，而是为研究人员提供的基准框架。其主要使用流程分为四步：

1. 数据预处理：运行 scripts/ViDoSeek_down.sh 下载数据集，执行 pdf2images.py 将 PDF 转为图像
2. 构建索引：运行 ingestion.py 对整个语料库进行多模态向量化，建立 LlamaIndex 索引
3. 执行检索：使用 SearchEngine 或 HybridSearchEngine 检索相关图像
4. 生成答案：调用 ViDoRAG_Agents 的 run_agent() 方法，输入查询和候选图像，获取最终答案 每个模块也可以独立使用——你可以只使用检索引擎，或者只使用多智能体生成模块。评估脚本 eval.py 支持三种实验模式：retrieval_infer（纯检索）、dynamic_hybird_retrieval_infer（动态混合检索）和 vidorag（端到端评估）。 部署方面需要 Python 3.10 + CUDA 11.8+ 环境，推荐使用 conda 或 uv 管理依赖。GPU 是必须项——Qwen2.5-VL-7B 至少需要 24GB 显存。README 特别提到 Transformer、LlamaIndex、ColpaliEngine 和 Qwen2.5 之间存在版本兼容性问题，建议为检索和生成任务分别建立独立环境。

局限与思考

ViDoRAG 目前最明显的局限在于计算资源需求高。端到端流程需要加载至少两个大模型（ColQwen2 约 7B + Qwen2.5-VL-7B），在消费级 GPU 上几乎无法运行。此外，作为研究代码，缺少生产级部署所需的一切：没有 Docker 化、没有 Web 界面、没有流式输出、没有 API 封装。 另一个值得注意的问题是多轮迭代的开销。在复杂多跳问题场景下，Seeker-Inspector 循环可能运行多轮，每次都涉及一次完整的 VLM 调用——这在真实生产环境中会带来显著的延迟和成本压力。

行业意义：打开视觉文档智能的新窗口

ViDoRAG 的意义不仅在于刷新了基准测试分数，更在于它提出了一套可复现、可扩展的多模态 RAG 研究框架。其发布的 ViDoSeek 数据集包含了多样化来源的视觉文档（学术论文、专利、财务报告等），为社区提供了统一的评估基准。 从技术趋势看，多模态 RAG 正从纯文本索引向原生多模态理解演进。ViDoRAG 代表了当前学术界在该方向的前沿探索——Actor-Critic 架构的引入让机器不再盲目地做向量最近邻搜索，而是具备了边读边想的初步能力。这一思路可能会对未来的企业文档智能、合同分析、医学影像报告等领域产生深远影响。 开源地址：https://github.com/Alibaba-NLP/ViDoRAG 论文：https://arxiv.org/abs/2502.18017