LaVie
级联隐扩散视频生成框架，三阶段（Base+插帧+超分）输出4K级视频，IJCV 2024论文开源实现
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
级联隐扩散视频生成框架，三阶段（Base+插帧+超分）输出4K级视频，IJCV 2024论文开源实现
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象你正在构思一部短片：一只戴着墨镜的泰迪熊在海边弹吉他，背景是橙红色的日落。如果在两年前，这样的画面可能需要专业动画师花上数周才能完成。而今天，你只需要在终端输入一段文字——"a teddy bear playing guitar in the park at sunrise, oil painting style"——LaVie 就能在数分钟内生成一段 16 帧、320×512 分辨率的视频。更进一步，通过视频插帧（Interpolation）可以将帧数扩展至 61 帧，通过超分辨率（VSR）可以将分辨率提升至 1280×2048。
这就是 LaVie——由上海人工智能实验室（Shanghai AI Lab）发表于 IJCV 2024 的文生视频（Text-to-Video，T2V）生成框架。
视频生成长期面临一个核心矛盾：质量、长度、计算成本三者难以兼得。早期基于 GAN 的方案生成质量不错，但视频长度受限于判别器的收敛能力；纯扩散模型方案（如VDM）在时长上有所突破，但生成的视频往往出现时间连贯性断裂、纹理模糊等问题。
LaVie 的核心创新在于引入了级联隐扩散架构（Cascaded Latent Diffusion Models），将视频生成分为三个递进阶段：
这一级联设计的精妙之处在于：每个阶段只需关注一个问题——Base 阶段专注内容与运动，Interpolation 阶段专注时序平滑，VSR 阶段专注空间清晰度。分工明确，各司其职。
图1：LaVie 生成的熊猫自拍视频，高分辨率细节与自然运动均得到良好保留
LaVie 并非从零训练一套全新的扩散模型，而是巧妙地复用了 Stable Diffusion 1.4 的预训练知识。具体来说：
VAE（变分自编码器） 直接复用 SD1.4 的预训练权重，将视频帧压缩至低维隐空间。这避免了从头训练一个视频 VAE 的巨大算力消耗，同时也让 SD 预训练中编码的丰富视觉先验得以延续。
UNet3D 时序模块 是 LaVie 的核心创新之一。在 SD1.4 的 2D UNet 基础上，LaVie 引入了 3D 卷积和时序注意力机制，使模型具备跨帧建模能力。在 Base T2V 阶段，模型在每个去噪时间步同时考虑文本嵌入（来自 CLIP Text Encoder）和当前帧的视觉特征，通过交叉注意力将语义信息注入生成过程。
Text Encoder 使用 CLIP Text Model（来自 SD1.4）将自然语言提示编码为语义向量。LaVie 的论文特别探讨了 CLIP 在视频生成场景下的局限性——CLIP 本身是针对静态图像训练的，其文本-图像对齐能力未必能完美迁移到时序建模上，但实验表明这一简化的文本编码方案仍然足够有效。
多调度器支持 是 LaVie 工程实现上的一大亮点。predict.py 中集成了 DDPM（高多样性）、DDIM（高效收敛）和 EulerDiscrete（高精度）三种采样调度器，用户可以通过 --sample_method 参数自由切换。默认的 DDPM 在 guidance_scale=7.0 时能取得质量与多样性的最佳平衡。
图2：柯基公园漫步（油画风格），LaVie 对不同艺术风格的迁移能力令人印象深刻
LaVie 的代码仓库被组织为三个相互独立的子目录，通过 predict.py 的 Cog 接口实现统一调度：
base/：Base T2V 模型的实现，包含 models/（UNet3D、VAE、Text Encoder）、pipelines/（VideoGenPipeline）、configs/sample.yaml（推理配置）。核心文件 pipeline_videogen.py 封装了完整的扩散采样流程。interpolation/：视频插帧模型，使用独立的扩散模型在时序维度上插值补帧。该模型同样基于 CLIP 文本编码器，可以对插帧后的短视频进行风格引导。vsr/：视频超分辨率模块，基于 Stable Diffusion Upscale Pipeline 的 3D 改造版，将低分辨率视频上采样 4 倍。值得注意的是，三个子模型之间通过文件系统耦合——每个阶段的输出视频写入 res/ 子目录，作为下一阶段的输入。这种设计虽然不够优雅，但实现简洁、便于调试，也避免了复杂的内存管理问题。
对于普通用户，LaVie 的部署门槛相当高：
environment.yml 创建 conda 环境，但 PyTorch 2.0.1 + CUDA 11.7 的组合对驱动版本有要求，配置过程可能遇到依赖冲突不过，对于研究者和开发者而言，LaVie 的代码质量值得称道：
configs/sample.yaml 将所有推理参数（步数、CFG 强度、随机种子）集中管理，实验可复现性强cog.yaml），熟悉 Replicate 平台的开发者可以实现一键云端推理einops 进行张量重塑、OmegaConf 管理配置，体现了良好的工程实践
图3：泰迪熊街头漫步，展示了 LaVie 对复杂场景和自然光影的捕捉能力
LaVie 并非完美，客观地说，它存在几个显著局限：
1. 时序一致性问题：尽管采用级联设计，Base T2V 阶段生成的 16 帧视频仍会出现物体突然消失/出现、背景抖动等问题。尤其是当视频中包含多个运动物体时，模型容易产生「时空穿帮」——例如人物的遮挡关系在相邻帧之间发生逆转。这一问题在当前所有 T2V 模型中都是未解决的难题。
2. 长视频生成能力有限：61 帧（约 2 秒 25fps 视频）已经是 LaVie 的上限。如果需要生成更长的视频，需要借助 Looped Video Generation 等后续工作。
3. 文本遵循度（Text Alignment）：部分生成结果与文本提示存在偏差，尤其是涉及复杂空间关系和数量时，模型的文本遵循能力仍有较大提升空间。
4. 商业化风险：LaVie 基于 SD1.4 的权重和架构，而 SD1.4 采用 CreativeML Open RAIL-M 许可证（非商业友好），用于商业产品前需仔细评估许可证条款。
LaVie 的意义不仅在于论文本身，更在于它是 Vchitect 视频生成系统（vchitect.intern-ai.org.cn）的核心组件。在 LaVie 之后，Vchitect 团队又陆续开源了 SEINE（Image-to-Video）、LaVie-2 等后续工作，形成了相对完整的视频生成工具体系。
从技术演进的角度看，LaVie 代表了 2023 年视频生成领域的一个重要节点：级联隐扩散架构在此后被广泛应用于 ModelScope Video、MVDiffusion 等后续工作中，证明了这条路线的有效性。同时，LaVie 对 SD 预训练权重的复用策略，也启发了后来者探索「站在巨人肩膀上」的轻量化视频生成方案。
增长曲线方面，LaVie 在 GitHub 上获得了 952 Star、64 Fork，考虑到这并非一个面向普通用户的「开箱即用」工具，这一数据反映出研究社区对其技术路线的高度认可。
| 用户类型 | 推荐指数 | 理由 |
|---|---|---|
| AI 研究者 | ⭐⭐⭐⭐⭐ | 级联架构清晰易读，适合复现和消融实验 |
| 视频生成开发者 | ⭐⭐⭐⭐ | 代码模块化，但需自行封装 Web UI |
| 普通 AI 爱好者 | ⭐⭐ | 部署门槛极高，建议先尝试 Replicate 云端版本 |
| 企业用户 | ⭐⭐ | 许可证风险 + 推理成本，需评估商业可行性 |
LaVie 是一个研究导向的优秀开源项目，适合有深度学习背景、熟悉扩散模型原理的开发者使用。对于只是想体验文生视频的普通用户，Replicate 上的云端版本可能是更实际的选择。