awesome-vlm-architectures

导言：从一张图读懂视觉语言模型的前世今生

想象一下，当你给 AI 发一张产品设计图，它不仅能描述图里有什么，还能指出哪些地方需要改进、哪些尺寸不合理、哪些工艺可能存在问题——这种「看懂」图像并「说出」专业见解的能力，正是 视觉语言模型（Vision-Language Model，VLM） 的核心价值。从 2021 年 OpenAI 发布 CLIP 拉开多模态大模型的序幕，到 2023 年 LLaVA 将 GPT-4V 的能力带入开源社区，再到 2024-2025 年 Janus-Pro、Qwen2.5-VL、Llama 3.2-Vision 等模型在多模态理解与生成上持续突破，VLM 领域每隔几个月就会涌现出令人振奋的新成果。

然而，快速迭代的背后是碎片化的知识现状：研究者需要同时追踪数十个团队的论文、代码和评测结果；开发者面对 GitHub 上上百个 VLM 相关仓库，不知从何入手；学生想系统学习 VLM 架构，却找不到一份结构清晰、深入浅出的教材。正是为了解决这一信息过载问题，土耳其 AI 研究者 Gökay Fem 创建了 Awesome VLM Architectures——一个收录了 96 个 VLM 架构的超级知识库。

这个仓库以 325,000 字的 README 为核心，每篇架构条目包含：论文链接、作者团队、核心创新点解析、详细架构描述、训练方法、数据集信息，以及指向 HuggingFace 和 GitHub 的资源链接。截至 2026 年 6 月，该仓库已获得 1,265 颗 GitHub Stars，是 VLM 领域最受欢迎的 Awesome List 之一。

---

1. 收录模型的全局分类与演进脉络

Awesome VLM Architectures 的 96 个模型并非随意堆砌，而是按照技术范式形成了清晰的演进脉络。深入阅读这份文档后，可以将收录模型归纳为以下 五大类别：

1.1 经典视觉-语言对齐模型（2019-2022）

这一批模型奠定了 VLM 的基本范式：双塔架构（Dual-Encoder）——视觉编码器和语言编码器分别处理图像和文本，再通过对比学习对齐表示空间。

CLIP（OpenAI, 2021） 是这一范式的奠基之作。它用 4 亿图像-文本对进行对比预训练，首次证明了大规模预训练可以在 zero-shot 场景下实现强大的视觉分类和图像-文本匹配能力。CLIP 的成功催生了一系列改进版本：MetaCLIP 探索了 CLIP 训练数据的优化策略；Alpha-CLIP 引入了 alpha 通道机制，让 CLIP 能够聚焦图像中的特定区域；SigLIP 改用 sigmoid 损失替代对比损失，在保持性能的同时降低了训练复杂度。

BLIP（Salesforce, 2022） 在 CLIP 的基础上引入了图文生成能力，提出了 Bootstrapping Language-Image Pre-training 范式，通过两阶段训练（图文对比 + 图文生成）同时学习理解和生成。BLIP-2 则在此基础上增加了 Q-Former 模块，可以在冻结视觉编码器和语言模型的条件下高效对齐多模态表示，大幅降低了训练成本。

1.2 大型多模态模型（Large Multimodal Models，LMM）（2023-2024）

2023 年，随着 GPT-4V 的发布，VLM 进入了一个全新阶段：将强大的语言大模型（LLM）作为多模态理解的核心大脑，视觉信息通过一个连接模块（Connector/Projector）映射到语言模型的输入空间。这标志着 VLM 从「双塔对比」转向「统一生成」的技术范式转变。

LLaVA（2023） 是这一波浪潮的开创者。它用线性投影层（Linear Projection）将 CLIP 视觉特征映射到 Vicuna 语言模型的 embedding 空间，用 GPT-4 生成的视觉指令数据（SFT-158K）进行微调，首次在开源社区复现了 GPT-4V 式的多模态对话能力。LLaVA 1.5 将线性投影替换为 MLP（多层感知机），并将 CLIP 视觉编码器分辨率提升至 336×336，在 11 个学术基准上刷新了开源 VLM 的 SOTA。LLaVA 1.6（即 LLaVA-NeXT） 引入了 AnyRes 策略支持 672×672 高分辨率输入，融入了 OCR 和世界知识数据，在 32 张 A100 上仅需一天即可完成训练。

MiniGPT-4 / MiniGPT-v2 则探索了更高效的对齐策略：仅用单层线性投影连接 Q-Former 和 Vicuna，在 4 张 A100 上训练 20,000 步即可获得基本的视觉对话能力。

1.3 架构创新型模型（2023-2025）

这一类别收录了在 VLM 架构层面做出原创性贡献的模型：

Flamingo（DeepMind, 2022） 引入了 Perceiver Resampler + 门控交叉注意力层（Gated Cross-Attention），可以在冻结语言模型的条件下通过图文交错的序列进行 few-shot 学习，开创了「上下文学习」在多模态领域的应用。OpenFlamingo 是其开源复现版本。

KOSMOS-1（Microsoft, 2023） 是首批将多模态感知（图像、文本、音频等）与语言模型统一训练的模型，引入 MAGNETO 和 XPOS 位置编码来提升 Transformer 的训练稳定性和外推能力。KOSMOS-2 在此基础上增加了 **定位（Grounding）**能力，将边界框坐标编码为离散的位置 token，实现了图像区域的精确引用。

CogVLM（智谱AI, 2023） 通过**视觉专家模块（Visual Expert）**在冻结的 LLM 权重上添加可训练的视觉参数，避免了传统方法中视觉信息被语言先验覆盖的问题。CogVLM2 在此基础上扩展了视频理解能力。

InternLM-XComposer 系列（上海人工智能实验室）是国内最具影响力的 VLM 之一：XComposer2 支持 4K HD 超高分辨率图像处理；XComposer-2.5 支持超长上下文输入输出，可处理上百页的文档和长视频。

1.4 端侧/移动端模型（2023-2024）

随着 VLM 能力逐渐成熟，学术界开始关注如何在资源受限的端侧设备上部署：

MobileVLM（美团, 2023） 使用 CLIP ViT-L/14 视觉编码器配合轻量级 MobileLLaMA 语言模型，并设计了 LDP（Lightweight Downsample Projector） 用深度可分离卷积实现高效的视觉-语言特征对齐，推理速度比同精度的主流模型快 2-3 倍。

SmolVLM 将 VLM 压缩到极致，仅需约 2B 参数即可运行，适合在消费级 GPU 甚至高性能 CPU 上部署。

MiniCPM-V（面壁智能, 2024） 系列是当前端侧 VLM 的标杆：MiniCPM-Llama3-V 2.5 以不到 8B 的参数在多项基准上达到 GPT-4V 水平；MiniCPM-o-2.6 更进一步，支持视觉、语音、多模态流式交互，在手机上即可实时运行。

OmniVLM 专门针对 sub-billion（不到 10亿）参数场景优化，通过 token 压缩技术显著减少视觉 token 数量，在移动端实现了可用性极高的 VLM 推理。

1.5 最新一代模型（2024-2026）

这一类别收录了近两年最前沿的研究成果，代表了 VLM 领域的最新进展：

Janus-Pro（DeepSeek, 2025） 提出了「理解与生成统一」的架构设计，用独立的视觉编码器分别处理多模态理解和图像生成任务，通过数据与模型的双重Scaling实现了超越同期开源模型的性能。

Llama 3.2-Vision（Meta, 2024） 将 Meta 最新一代 Llama 3 语言能力与视觉编码器结合，是目前开源社区最强大的开源多模态模型之一。

Qwen2.5-VL（阿里云, 2025） 在 Qwen2-VL 基础上进一步扩展了视觉理解的上限，支持超长视频理解（数小时级别）、动态分辨率处理和结构化输出。

PaliGemma 2（Google, 2024） 是 PaliGemma 系列的升级版，提供 3B/10B/28B 三种参数规格，配合 224/448/896 三种分辨率选择，通过多阶段预训练实现了出色的跨任务迁移能力，在 OCR、表格识别、乐谱识别等任务上达到了 SOTA。

NVLM（OpenGVLab, 2024） 提出了将混合专家（MoE）架构与 VLM 结合的新思路，在保持推理效率的同时大幅提升了模型容量。

Apollo（Meta, 2024） 专注于视频理解，引入了「Scaling Consistency」概念，证明在小模型上验证的设计决策可以有效迁移到大模型，并在 ApolloBench 评测中将评估速度提升了 41 倍。

---

2. 技术架构的共性模式

尽管收录的 96 个模型各有创新，深入分析后可以发现它们大多遵循一个 三层架构范式：

第一层：视觉编码器（Visual Encoder）

绝大多数 VLM 的视觉前端都基于 Vision Transformer（ViT）架构。经典选择包括 CLIP 的 ViT-L/14、BLIP-2 中使用的 EVA-CLIP、以及近年来表现更优的 SigLIP-So400m。部分创新模型尝试用 ConvNeXt（ConvLLaVA）或 InternViT 替代 ViT，以获得更好的图像压缩效率或多尺度特征提取能力。

第二层：视觉-语言连接模块（Connector/Projector）

这是 VLM 架构最核心的差异化所在。连接模块负责将视觉特征「翻译」为语言模型可以理解的 token 序列。根据复杂度从低到高，主要有以下几类：

• 线性投影（Linear Projection）：LLaVA、MiniGPT-4 等采用的最简方案，用单层线性变换将视觉特征映射到 LLM 的 embedding 空间。优点是参数少、训练快；缺点是表达能力有限。
• MLP 投影：LLaVA 1.5 及后续版本将线性投影升级为 2 层 MLP，显著提升了视觉-语言对齐的质量。
• Q-Former：BLIP-2/InstructBLIP 引入的查询型变换器，用一组可学习的 query 通过交叉注意力从视觉特征中提取信息，query 数量通常在 32-128 之间，有效实现了信息压缩。
• Perceiver Resampler：Flamingo/Apollo 系列使用，灵感来自 DeepMind 的 Perceiver IO，用少量 latent array 对高分辨率视觉特征进行下采样。
• Token 压缩/合并：MiniCPM-V 通过 cross-attention query 将每个图像 slice 的 1024 个视觉 token 压缩到 64-96 个，大幅降低计算成本。

第三层：语言大模型（Large Language Model）

当前主流 VLM 的语言后端几乎清一色采用开源 LLM：Vicuna（基于 LLaMA）、Qwen 系列、InternLM、Llama 2/3 系列、以及 Google 的 Gemma 系列。选择标准主要考虑：模型规模（7B/13B/34B/70B）、推理效率（是否支持 GGUF 量化）、以及语言能力与特定任务的匹配度。

---

3. 训练范式的演进

3.1 两阶段 vs. 三阶段训练

早期 VLM（如 LLaVA）采用经典的两阶段训练范式：

• 阶段一（特征对齐预训练）：冻结视觉编码器和 LLM，仅训练 Connector，用大规模图文对（如 CC3M）让视觉特征与语言空间对齐。
• 阶段二（指令微调）：冻结视觉编码器，训练 LLM + Connector，用高质量的视觉问答和对话数据（SFT-158K）激活指令跟随能力。

随着技术发展，三阶段训练逐渐成为主流（LLaVA-NeXT、LLaVA-OneVision 等）：

• 阶段一（Connector 预热）：在大量图文数据上训练 Connector，建立基础的对齐。
• 阶段二（高质量知识学习）：引入细粒度描述数据、文档/OCR 数据、多语言数据，扩展模型的知识面。
• 阶段三（视觉指令微调）：在多样化任务上微调整个模型（有时也冻结视觉编码器），激活泛化能力。

3.2 冻结 vs. 解冻视觉编码器

传统观点认为训练时应冻结视觉编码器以保留其预训练知识。但近年来的实验表明：适度解冻视觉编码器（尤其是高分辨率阶段）可以显著提升模型性能——ConvLLaVA 通过训练 ConvNeXt 视觉编码器，在 1536×1536 高分辨率下依然保持了高效的 token 压缩。

3.3 自训练与数据增强

VILA² 提出了一个优雅的思路：用 VLM 本身来生成更高质量的训练数据。具体做法是：先用基础 VLM 生成图像的详细描述（re-captioning），再用增强后的数据训练更强的 VLM，形成自我提升的良性循环。

---

4. 主要数据集与基准评测

收录模型使用的数据集可以归纳为三大类：

通用图文数据：CC3M/CC12M、LAION-2B、COYO-700M、WebLI（10亿图文对，100+语言）、OBELICS（交错图文网页文档）等。这些大规模数据集是 VLM 获得基础视觉-语言对齐能力的关键。

学术评测基准：VQAv2、GQA、ScienceQA 用于通用视觉问答；DocVQA、ChartQA、TextVQA 用于 OCR 和文档理解；SEEDBench、MMbench 用于多维度综合评测；MMMU 用于多模态大学级推理题。

专项数据集：GRIT（KOSMOS-2 用于定位任务）、COST（Chinese Omnipotent Scene Understanding Dataset）用于中文场景理解，YouTubeThumbnail-VQA 用于视频缩略图理解。

---

5. 该知识库的核心价值

5.1 对 AI 研究者的价值

Awesome VLM Architectures 最大的价值在于系统化的架构梳理。在学术论文中，作者通常只详细介绍自己提出的模型，与同类工作的对比分散在 Related Work 章节或附录中。而这份文档为每个模型都提供了相当详细的架构解析、训练方法说明和数据集信息，相当于一份持续更新的 VLM 综述论文，且比任何静态论文都更贴近最新研究进展。

对于正在设计新模型的 researchers，这份文档提供了丰富的消融实验参考：不同 Connector 方案的效果对比（Linear vs MLP vs Q-Former）、冻结 vs. 解冻视觉编码器的影响、高分辨率策略（AnyRes、切片压缩、多尺度特征）的取舍依据——这些在原论文中往往需要跨多篇论文才能拼凑完整。

5.2 对 AI 开发者的价值

开发者可以利用这份文档快速完成技术选型：如果要在移动端部署，参考 MobileVLM/MiniCPM-V 的方案；如果要做视频理解，Apollo/VideoLLaMA 提供了成熟的架构参考；如果需要处理高分辨率文档，INF-LLaVA/InternLM-XComposer2-4KHD 是首选。

此外，文档中每个条目都附带了 HuggingFace Spaces 链接和 GitHub 代码仓库链接，开发者可以快速试用或基于开源实现进行二次开发。

5.3 对 AI 学习者的价值

对于希望系统学习 VLM 的学生和研究新人，这份文档提供了一条从经典到前沿的完整学习路径：从 CLIP 的对比学习范式入门，理解双塔架构的视觉-语言对齐原理；再到 Flamingo 的上下文学习，理解如何将视觉信息融入生成式语言模型；最后到 LLaVA 系列，理解统一生成范式下 VLM 的完整训练流程。

每个模型条目中的 <details> 折叠区域提供了远超表面描述的深度内容，包括训练数据集、损失函数、优化策略等细节，对于需要深入理解某个模型的读者极具参考价值。

---

6. 局限性与使用建议

尽管 Awesome VLM Architectures 是一个极为优质的知识库，用户在使用时也需要注意以下几点：

信息时效性：由于 VLM 领域发展极快，部分模型的评测数据和性能排名可能已经发生变化。例如，文档中某些 2023 年被评为 SOTA 的模型，在 2025-2026 年的新模型面前已不再领先。建议读者将文档作为系统学习的索引工具，而非最新排行榜。

架构细节的深度：文档中的架构解析虽已相当详细，但毕竟是对原论文的提炼和翻译，某些技术细节（如特定层的归一化策略、注意力掩码的具体设计）需要读者回到原始论文中深入挖掘。

非完整代码资源：这是一个文档库而非代码库。模型的实际训练和推理代码需要参考各模型自己的 GitHub 仓库。文档的 Tools 列表中收录了 DualView（dualview.ai），这是一个免费的 VLM 输出对比工具，可以帮助开发者和研究者直观比较不同 VLM 对同一图像/视频的输出质量。

---

7. 总结

Awesome VLM Architectures 是 VLM 领域最具系统性和深度的Awesome List 之一。它以 96 个里程碑式模型为节点，以 325,000 字的详细解析为脉络，绘制了一幅从 CLIP 到 Llama 3.2-Vision 的完整技术演进图景。对于 AI 研究者，它是一份可检索的架构百科；对于开发者，它是快速定位合适模型和参考实现的工具手册；对于学习者，它是一条从经典到前沿的系统学习路径。

更重要的是，这份文档体现了 VLM 领域的几个核心趋势：从双塔对比到统一生成的范式转变、从通用视觉理解到高分辨率/视频/端侧的多维拓展、从单一模态到语音+视觉+文本的全模态融合。理解这些趋势，比记住任何一个具体模型的参数配置都更有长远价值。