Awesome-Controllable-T2I-Diffusion-Models

📖 Awesome Controllable T2I Diffusion Models：可控文生图领域的「论文导航地图」

想象这样一个场景：你是一名 AI 研究者，刚刚接手一个"如何用脑电信号控制 AI 生成图像"的课题。你知道这个方向有大量论文，但它们分散在 arXiv、NeurIPS、CVPR 的各个角落，从零找起需要花费数周时间。

Awesome Controllable T2I Diffusion Models 正是为解决这个痛点而生——它由一支来自学术界的研究团队（曹璞、周峰、宋庆、杨路）创建，将可控文本到图像扩散模型领域的所有重要论文分门别类地整理成册，成为该领域最权威的资源导航。

图1：文本到图像扩散模型能够根据文字描述生成逼真图像，可控生成技术则让用户能够进一步约束生成过程

🎯 核心定位：学术资源聚合器

这是一个典型的 Awesome-list 类型项目——GitHub 生态中最受欢迎的「精选资源清单」格式。它的核心价值不是代码实现，而是一份持续更新的论文地图。

作者团队还发表了配套的综述论文 "Controllable Generation with Text-to-Image Diffusion Models: A Survey"（arXiv:2403.04279），发表当年即引发学界关注，为这份清单提供了学术背书。读者既可以把这份资源合集当作学习指南，也可以直接阅读综述论文获取系统性认知。

🗂️ 分类体系：三大维度覆盖全领域

该项目将可控文生图的研究方向划分为 三个层次、14 个子领域：

层次一：特定条件生成（Generation with Specific Condition）

• 个性化（Personalization）：让模型学会特定主题/人物/风格。包括主体驱动（Subject-Driven，如 DreamBlend、MagicTailor）、人物驱动（Person-Driven）、风格驱动（Style-Driven）、交互驱动（Interaction-Driven）、图像驱动（Image-Driven）和分布驱动（Distribution-Driven）六大方向。
• 空间控制（Spatial Control）：控制生成对象的空间位置和布局。
• 高级文本条件生成（Advanced Text-Conditioned）：优化文本提示的语义理解与图像生成。
• 上下文生成（In-Context Generation）：基于上下文信息引导图像生成。
• 脑信号引导（Brain-Guided）：用 fMRI/EEG 等脑信号直接控制图像生成——这是近年来最前沿的跨学科方向之一。
• 声音引导（Sound-Guided）：用声音/语音描述来引导图像生成。
• 文字渲染（Text Rendering）：解决 AI 生成图像中文字错乱的问题（如街景标牌、人脸数字等）。

层次二：多条件联合生成（Generation with Multiple Conditions）

• 联合训练（Joint Training）：同时学习多个条件信号。
• 持续学习（Continual Learning）：不断吸收新概念而不遗忘旧知识。
• 权重融合（Weight Fusion）：合并不同模型的权重。
• 注意力融合（Attention-based Integration）：通过注意力机制整合多条件信号。
• 引导组合（Guidance Composition）：组合多个引导信号实现复合控制。

层次三：通用可控生成（Universal Controllable Generation）

• 通用条件分数预测（Universal Conditional Score Prediction）
• 通用条件引导分数估计（Universal Condition-Guided Score Estimation）

🔬 为什么这个项目值得关注？

1. 紧跟学术前沿 论文列表随arXiv实时更新，包含大量 2024 年的最新工作。研究人员可以把它当作 RSS 订阅的替代品，第一时间获取领域动态。

2. 系统性学习路径 对于刚进入该领域的学生或工程师，可以按分类体系逐个击破——从最成熟的"个性化生成"到最前沿的"脑信号引导"，路径清晰。

3. 跨学科视野 特别值得关注的是 Brain-Guided 和 Sound-Guided 方向，它们代表了 AI 与神经科学、声学的深度交叉，代表了 AIGC 的未来演进方向。

⚙️ 技术特点分析

⚠️ 局限性与注意事项

• 这不是一个可运行的软件——它是学习资源，无法通过 Docker 或命令行部署使用。
• 论文时效性强：列表中的部分论文可能尚未经过正式同行评审（arXiv 预印本），引用时需注意。
• 分类边界模糊：部分论文跨越多个子领域，交叉引用有待完善。

📈 行业意义

随着 Stable Diffusion、DALL-E 3、Midjourney 等文生图工具走向普及，"如何更精细地控制生成结果"成为研究热点。这个项目精准卡位：它不只是一份论文列表，更是该领域发展的晴雨表。从列表中各子方向论文数量的消长，可以直观看出哪些技术路线正在加速突破（如 Brain-Guided 近两年爆发式增长），哪些方向趋于成熟。

如果你正在从事 AIGC 研究、图像生成产品开发，或是想系统了解 AI 生成图像的前沿技术，这个项目值得收藏。对于开发者而言，它也是一个绝佳的"论文 idea 来源地"——找到技术空白点，就是下一个创新方向。

配套综述论文：Controllable Generation with Text-to-Image Diffusion Models: A Survey (arXiv:2403.04279)