FVLM：让 AI 真正「读懂」CT 影像的每一个细节

想象一个放射科医生，每天要审阅上百份 CT 扫描影像。传统的 AI 模型只能告诉她「这张片子里有异常」，但她真正需要知道的是：异常在哪里？是哪种器官出了问题？严重程度如何？ 阿里巴巴达摩院推出的 FVLM（Fine-grained Vision-language Pre-training），正是为了解决这个痛点而生——它不仅能识别 CT 中的异常，还能像医生一样精确到「左肺上叶有 2cm 磨玻璃结节」这样的细粒度描述。该论文被 ICLR 2025 评选为 Spotlight（亮点论文），标志着医学影像+多模态大模型方向的重要突破。

FVLM 基于 BLIP 框架，联合预训练视觉编码器（ViT）和医学文本编码器，实现细粒度 CT 图像理解

🎯 背景：为什么医学影像需要细粒度多模态理解

CT（电子计算机断层扫描）影像与自然图像有本质不同：一张胸腔 CT 包含数十到数百个切片（slice），每个切片中往往同时包含肺、心脏、食道、主动脉等多个器官，而每个器官又可能同时存在正常区域和多种异常区域。 传统 VLM（视觉-语言模型）在自然图像上表现优秀（如描述图片中有哪些物体），但直接迁移到 CT 影像面临三大挑战：

1. 切片维度：CT 是 3D 体积数据，标准 ViT 处理 2D 图像，需要处理高度方向上的多个切片
2. 多器官并发：一张 CT 中可能同时出现肺结节、心包积液、主动脉钙化等多种异常
3. 细粒度标注稀缺：医学影像的详细描述需要专业医生，成本极高 FVLM 的核心贡献是提出了「器官级细粒度对齐预训练」框架，在器官层面将 CT 切片特征与对应文本描述对齐，从而让模型学会「局部-语义」的精细映射。

🔬 技术方案：BLIP 框架 + 器官级多模态对齐

核心架构

FVLM 基于 Salesforce 的 BLIP 框架构建，核心组件为： 视觉编码器：自定义 3D ViT（Video Transformer），输入为 (1, 112, 256, 352) 的 CT 切片 tensor，patch size 为 (16, 16, 32)，利用 ImageNet MAE 预训练权重初始化。代码中硬编码了肺（lung）、心脏（heart）、食道（esophagus）、主动脉（aorta）四个器官的 ID，用于器官级特征提取。 文本编码器：使用 BiomedVLP-CXR-BERT，这是微软专门为胸部 X 光/CT 训练的专业医学语言模型，词表针对医学术语优化。 器官级注意力机制：通过 MultiheadAttention（4 头）从 ViT 的多层级隐状态中提取目标器官区域特征，而非整张图像的全局特征。每个器官有独立的 vision_proj 投影层和 query_token 可学习查询向量。

训练策略：器官级 ITC（Image-Text Contrastive）

FVLM 在 CT-RATE 数据集（约 25 万张 CT 与医生撰写的详细描述）上进行预训练。关键创新在于损失函数设计：

• 语义感知相似度矩阵：正常描述（以「{器官} shows no significant abnormalities.」开头）和异常描述（非正常）被分开处理——相同异常诊断的图像-文本对被视为正样本，正常图像之间也被视为正样本，避免将不同异常类型错误对齐
• 完整性过滤：只对「完整出现在切片中」的器官计算损失，即排除被切片边缘截断的器官
• 温度系数动态裁剪：温度参数在 [0.001, 0.5] 范围动态调整，防止过度自信的预测

评估与指标

使用 eval.py 在验证集上评估，生成 CSV 后通过 calc_metrics.py 计算专用指标。论文报告了在 CT-RATE 上显著优于 CT-CLIP 等基线的结果。

📦 代码结构

fvlm/
├── train.py              # 分布式训练入口（torchrun --nproc_per_node=4）
├── eval.py               # 评估脚本
├── calc_metrics.py       # 指标计算
├── blip_pretrain.py      # ★ 核心模型实现（BLIP 预训练变体，器官级注意力）
├── lavis/                # 基于 Salesforce LAVIS 框架
│   ├── models/
│   │   ├── blip_models/  # BLIP 模型基类
│   │   ├── vit.py        # 3D ViT 视觉编码器
│   │   └── med.py        # Medical Encoder（XBertEncoder）
│   ├── configs/          # 训练配置文件
│   └── processors/       # 数据预处理
└── data/                 # CT-RATE 数据处理脚本
    ├── fix_data.py       # 数据清洗
    ├── generate_mask.py   # 生成器官分割掩码
    ├── resize.py          # 图像 resize
    └── preprocess.py      # 预处理

依赖覆盖 100+ 主流 ML 库，包括 PyTorch 2.3.1、Transformers 4.25、MONAI 1.3（医学影像）、nnUNet 2.5（医学分割）等重量级库。

⚠️ 局限性与注意事项

1. 无开源 License：项目未包含 LICENSE 文件，商用前需联系阿里达摩院获取授权
2. 部署门槛极高：需 4 GPU 节点 + 200GB+ 存储（CT-RATE 数据集）+ 多处手动下载外部权重
3. 数据依赖外部源：CT-RATE 需从 HuggingFace 下载，预训练 ViT 权重来自 Facebook AI 官网，解剖描述来自 Google Drive
4. 硬编码路径：部分权重路径写死为本地绝对路径（/storage/guoruizhe/cache/...），需手动适配
5. 仅支持四种器官：模型中 self.organs = ['lung', 'heart', 'esophagus', 'aorta'] 硬编码，扩展到其他器官需修改源码

🏥 行业意义

FVLM 代表了医疗 AI 从「单任务检测」向「多模态细粒度理解」演进的重要趋势。随着 CT-RATE 等大规模医学影像-文本配对数据集的发布，类似 FVLM 的模型将推动：

• 自动化报告生成：从「检测到异常」升级为「基于完整器官分析的自然语言诊断报告」
• 多疾病联合判断：同时评估多个器官的多种异常，而非逐一检测
• 少样本医学学习：细粒度对齐预训练使模型在标注稀缺的新疾病上具备更强迁移能力 FVLM 被 ICLR 2025 接收为 Spotlight 论文，表明细粒度多模态预训练已成为医学影像 AI 的前沿方向。