BLINK：多模态大模型的视觉感知能力盲区评测

想象一下这样的场景：你给 AI 看了一张建筑工地的照片，问它「这两个人谁离摄像机更近？」——人类瞄一眼就能回答，但 GPT-4V 和 Gemini Pro 却在这个问题上犯了难，准确率甚至不如随机猜测。这就是 BLINK 基准诞生的直接原因。

BLINK（ECCV 2024）是由宾夕法尼亚大学、华盛顿大学、康奈尔大学联合发布的多模态大语言模型评测基准，专注于评估 AI 的核心视觉感知能力——而非简单的图像识别。论文标题「Can See but Not Perceive」直击要害：当前最强的多模态模型能「看见」图像，但无法真正「感知」空间、深度、对应关系等底层视觉信息。

图1：BLINK项目Logo

为什么需要 BLINK

现有 VLM 评测普遍聚焦于图像理解、视觉问答等高层任务，这些任务可以通过语言线索（如常识、上下文）间接解决，模型即使没有真正「看懂」图像也能答对。BLINK 另辟蹊径，将 14 类经典计算机视觉问题（共 3,807 道选择题）改造为多模态感知测试，这些任务的共同特点是：人类在「一眨眼」间就能完成，但模型却难以靠语言推理绕过。

这 14 个子任务涵盖：

• 艺术风格识别（Art Style）：判断图像属于哪种艺术流派
• 功能性对应（Functional Correspondence）：找出一组物体中功能相同的那一个
• 多视图推理（Multi-view Reasoning）：根据不同视角的图片判断物体
• 相对反光率（Relative Reflectance）：判断两个表面哪个更反光
• 视觉对应（Visual Correspondence）：匹配图像中的对应点
• 计数（Counting）：精确计数图像中的物体数量
• 智商测试（IQ Test）：类比推理题（图形规律）
• 物体定位（Object Localization）：在图像中指出物体位置
• 语义对应（Semantic Correspondence）：跨图像语义匹配
• 视觉相似度（Visual Similarity）：判断两图的视觉相似程度
• 图像取证（Forensic Detection）：检测图像是否经过处理
• 拼图（Jigsaw）：还原被打乱的图像块顺序
• 相对深度（Relative Depth）：判断物体间的深度关系
• 空间关系（Spatial Relation）：判断物体之间的空间位置

图2：BLINK 评测任务概览

令人震惊的评测结果

BLINK 的评测结果揭示了一个尴尬的现实：当前最先进的多模态模型与人类差距悬殊。

人类基准准确率达到 95.70%，而 GPT-4V（vision preview）仅为 51.26%，Gemini Pro 1.0 更是低至 45.72%——仅比随机猜测（38.1%）高出约 7-13 个百分点。

GPT-4o（2024年6月）取得了最大突破，测试集准确率达到 59.0%，但仍未突破 60% 大关。值得注意的是，GPT-4o 的验证集准确率（60.0%）甚至高于测试集，说明 GPT-4o 在 BLINK 上表现仍有波动。Claude 3 Opus 表现平稳但无亮点（44.1%），开源模型 LLaVA-1.5-13B 约 40.6%，MiniGPT-4-v2-7B 垫底（34.6%）。

更值得深思的是，同一任务下，专门针对该任务训练的 CV 模型（专家模型）远超通用多模态模型——这说明感知能力尚未在多模态 LLM 中「涌现」，还需要专门的设计和训练。

技术实现：如何运行 BLINK 评测

BLINK 的评测代码设计得非常模块化，核心依赖：

import datasets
# 加载数据集
data = load_dataset('BLINK-Benchmark/BLINK', 'Art_Style')

评测流程：

1. 数据集加载：通过 Hugging Face datasets 库直接加载 14 个子任务的数据
2. 模型推理：使用 query_model.py 中的 query_gpt4v() 函数向 OpenAI API 发送图片和提示词
3. 答案匹配：multiple_choice.py 将模型自由文本回答归一化为 (A)/(B)/(C)/(D) 格式
4. 评分计算：evaluate.py 汇总各子任务预测结果，与 val_answers.json 比对输出准确率

# 核心推理调用
from eval.query_model import query_gpt4v
answer = query_gpt4v(image_paths, prompt, retry=10)

代码支持自定义模型扩展，只需实现相同结构的 query_xxx 函数即可。数据集通过 Hugging Face Hub 分发，无需手动下载。

上手指南

BLINK 是纯评测工具包，不涉及模型训练，部署极简：

git clone https://github.com/zeyofu/BLINK_Benchmark.git
cd BLINK_Benchmark
pip install datasets openai Pillow tqdm
# 设置 OpenAI API Key
export OPENAI_API_KEY=sk-...

验证集评测直接本地运行，测试集需在 EvalAI 提交结果。评测速度取决于 API 调用频率，1,900 条数据约需数十分钟。

局限与争议

BLINK 评测同样存在局限：

1. 依赖商业 API：评测以 OpenAI GPT 系列为主力，自托管开源模型需要额外适配工作
2. 数据版权风险：部分图像取证任务的数据来自公开网络搜索，存在版权隐患
3. 任务覆盖面有限：14 类感知任务虽经过精心挑选，但远未覆盖所有视觉感知能力
4. 评测泛化性存疑：部分模型可能在验证集过拟合，真正泛化能力需看测试集表现

行业意义与未来展望

BLINK 的出现填补了多模态 LLM 感知能力评测的空白。ECCV 2024 接收本身也说明学界对这一方向的认可。更重要的是，它为行业指明了一条新路：感知能力的提升不能仅靠「更大」的语言模型，还需要专门针对视觉表征的设计。

2024 年中，GPT-4o 和 Gemini 1.5 Pro 在 BLINK 上的显著进步已经验证了这一方向——多模态感知能力确实可以通过更好的训练策略获得。BLINK 将持续作为标准评测工具，推动下一代多模态模型向人类视觉感知水平迈进。

项目信息： | Stars: 171 | Fork: 8 | License: Apache-2.0 | 主页: https://zeyofu.github.io/blink/ | 数据集: HuggingFace BLINK-Benchmark/BLINK | 论文: arXiv:2404.12390