视频扩散模型的全景知识图谱

想象这样一个场景：你刚刚在社交媒体上看到一段 AI 生成的视频——一只泰迪熊正在画一幅肖像画，动作流畅、细节逼真。你想知道这段视频背后用的是什么模型、什么技术栈、谁做的——那么你需要的就是 Awesome-Video-Diffusion。这个由新加坡国立大学（NUS）Show Lab 维护的 awesome-list，就像一张 AI 视频生成领域的"知识地图"，把 2023 年以来几乎所有重要的视频扩散模型都收罗其中。

项目起源与维护者

Awesome-Video-Diffusion 由新加坡国立大学（NUS）的 Show Lab 研究组发起并持续维护。该实验室专注于多模态生成式 AI 研究，在 CVPR、ICML、NeurIPS 等顶会发表大量论文。项目于 2023 年 4 月创建，已收录超过 792 个条目，涵盖 434 个独立 GitHub 仓库和 600+ 篇 arXiv 论文。最近更新为 2026 年 5 月 26 日，28 个精心设计的分类维度几乎覆盖视频扩散模型的每一个细分方向。

像一本"AI 视频百科全书"

如果把 AI 视频生成领域比作一座快速扩张的城市，Awesome-Video-Diffusion 就是这张城市的活地图——它不是某一条街道的详细规划图，而是整座城市的导航手册。你可以快速找到自己需要的方向：想做视频编辑？这里有 87 个相关项目；想做角色定制？这里有 18 个参考实现；想了解商用产品？这里列出了 7 个商业化案例。

28 个分类维度，792 条知识节点

项目将视频扩散模型按应用场景和技术方向划分为 28 个精细分类，主要方向规模如下：视频生成（199 条）、可控视频生成（100 条）、视频编辑（87 条）、长视频/电影级生成（55 条）、人体运动定制（40 条）、开源工具箱与基座模型（28 条）、3D 场景生成（29 条）、虚拟主播/说话人头（31 条）、视频音频合成（23 条）、高效视频生成（14 条）等。

收录的代表性项目包括：

• 工具箱/基座：HunyuanVideo（腾讯混元）、Cosmos（NVIDIA）、Movie Gen（Meta）、Wan2.1（阿里万相）、Open-Sora-Plan（北大版 Sora）、LTX-Video、Mochi 1、Allegro
• 视频生成：CogVideoX（清华系）、Pyramidal Flow（字节）、Make-A-Video（Meta）、Tune-A-Video
• 可控生成：FateZero（交大系）、AnimateZero（字节）
• 长视频：AutoStudio、SkyReels-V2（快手可灵）、Helios（北大系）
• 视频编辑：VideoFusion、Prompt2Prompt

使用方式与门槛

作为 pure awesome-list，本项目没有可运行代码，只有 Markdown 格式的知识汇编。使用方式极为简单：直接在 GitHub 页面浏览、Ctrl+F 搜索特定模型名、或将仓库加星跟踪更新。零技术门槛——只要能打开网页就能使用，无需安装任何依赖。

局限与不足

尽管内容丰富，项目存在几个局限性：一、纯信息罗列，无系统性效果对比和 Benchmark，用户仍需逐一阅读各仓库 README；二、分类粒度不均，视频生成一个分类就有 199 条，容易"迷失"在海量条目中；三、缺少中文翻译和本地化；四、维护如此庞大的列表难度大，部分收录可能存在一定滞后。

行业意义与趋势

从收录项目来看，当前视频 AI 领域呈现几个明显趋势：基座模型"军备竞赛"（HunyuanVideo、Cosmos、Movie Gen 等大厂纷纷入场）；可控性成为竞争焦点（100 条可控生成条目）；长视频突破（从早期 2-4 秒到分钟级）；跨模态融合加速（音频合成、3D/4D 重建、医疗健康等跨领域应用）。

Awesome-Video-Diffusion 是目前视频扩散模型领域规模最大、分类最系统的 awesome-list 资源库，是快速了解领域全景、发现研究方向、追踪前沿进展的必备书签。如果你对视频 AI 有任何方向的好奇，这个项目值得先来这里"逛一圈"。

图1：Meta Make-A-Video 生成的泰迪熊绘画示例

图2：Make-A-Video 整体架构概览

图3：Tune-A-Video 文字驱动视频生成效果