LatentSync
字节跳动开源的端到端唇形同步框架，基于Stable Diffusion隐空间直接建模音频与视频的同步
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
字节跳动开源的端到端唇形同步框架，基于Stable Diffusion隐空间直接建模音频与视频的同步
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象这样一个场景：你在为一位数字虚拟主播调校一段配音字幕，配音内容精准流畅，但当你把音频和视频放到一起播放时，虚拟主播的嘴唇动作却总是"慢半拍"或者"张合不对"。这不仅仅是视觉上的不适——在商业配音、广告翻译、内容本地化等场景下，唇形同步的精度直接决定了内容是否可用。
这正是 LatentSync 要解决的问题。它是字节跳动（ByteDance）研究团队于2024年底开源的端到端唇形同步框架，GitHub 累计获得 5700+ Stars，是唇形同步领域目前最受关注的项目之一。与传统的两步式生成方法不同，LatentSync 直接在 Stable Diffusion 的隐空间（latent space）中建模音频与视频之间的复杂关联，无需任何中间运动表示层——这让它成为了真正意义上的"一步到位"。
图1：LatentSync 整体框架图。 模型以音频和参考视频帧为输入，在 Stable Diffusion 隐空间中直接生成同步唇形的目标帧。
唇形同步（Lip Sync）在影视后期和虚拟数字人领域并不是新问题。但传统的唇形同步技术长期面临两大困境：
困境一：两步式方法的质量天花板。 早期方法通常分两步走——先用某种运动表示（如 3D 关键点、PCA 系数）从音频生成中间运动参数，再用这些参数驱动图像生成。中间层的存在，不可避免地引入了信息损失，最终唇形动作要么生硬、要么失真。
困境二：泛化能力差。 很多唇形同步模型在训练集上表现不错，一旦换到真实场景（不同的说话人、光照、姿态），效果就急剧下降。因为这些模型本质上是在"记忆"训练数据中的对应关系，而非真正理解音频与唇形之间的物理因果。
LatentSync 的出现，是字节跳动研究团队对上述两个问题的正面回应。
LatentSync 的核心创新，在于它放弃了中间运动表示层，直接在 Stable Diffusion 的隐空间中建立音频到视频帧的映射。理解这个设计选择，需要先了解两个关键组件：
LatentSync 使用 OpenAI 的 Whisper 模型将输入音频转换为梅尔频谱图（mel-spectrogram），再通过 Whisper 的编码器网络将梅尔频谱图映射为高维音频嵌入向量。选择 Whisper 的理由很充分：Whisper 本身在大规模多语言数据上训练，具备出色的音频理解能力，这为唇形同步提供了比手工特征（如 MFCC）更丰富的语义信息——它甚至能理解语音中"哪个音节对应哪个唇形动作"。
音频嵌入向量通过 Cross-Attention（交叉注意力）机制注入到 Stable Diffusion 的 U-Net 中。你可以把这个过程想象成：U-Net 在生成目标视频帧的过程中，会不断"查询"音频嵌入，问："在这个时间点，嘴唇应该是什么形状？" Cross-Attention 正是这个"查询"机制的实现——它在每个去噪步骤中引导模型生成与音频同步的唇形动作。
与 Wav2Lip 等像素空间方法不同，LatentSync 的生成发生在隐空间，U-Net 的输入是带噪声的隐向量与参考帧的隐表示通道拼接，而非原始像素。这样做的好处是：Stable Diffusion 预训练模型中蕴含的丰富先验知识（光照、纹理、3D 一致性等）被直接复用，无需从头学习。
LatentSync 在训练中使用了三种损失函数的组合：
这三重损失各司其职：TREPA 保证时序流畅，LPIPS 保证视觉质量，SyncNet 保证唇形同步。三者联合训练，构成了 LatentSync 在多个基准测试中领先的关键。
LatentSync 并非"一版定江山"，而是在开源后持续迭代：
版本演进的节奏和方向也体现了项目团队的务实态度——先解决"能用"的问题，再解决"好用"的问题。
LatentSync 提供了两种使用方式，适合不同技术背景的用户：
Gradio Web UI（适合非程序员）：项目自带 gradio_app.py，启动后可在浏览器中上传视频和音频文件，调整 guidance_scale、推理步数、随机种子等参数，直接下载唇形同步结果。Gradio 界面直观友好，不需要任何代码能力，适合快速尝鲜或做 demo 演示。
命令行脚本（适合开发者）：提供 inference.sh 脚本，支持批量处理。开发者可以将 LatentSync 集成到自己的视频处理管线中，作为自动化流程的一个环节。项目还支持通过 Cog 镜像在 Replicate 平台上一键部署，降低了云端使用的门槛。
LatentSync 是一款强 GPU 依赖的项目。核心要求如下：
| 项目 | 最低要求 | 推荐配置 |
|---|---|---|
| 显存 | 12GB | 16GB+（RTX 3090 / RTX 4090 / A100） |
| 内存 | 16GB | 32GB |
| 存储 | 10GB | 20GB（模型 + 视频素材） |
| CUDA | 12.1 | 12.1 |
| Python | 3.10 | 3.10 |
需要注意的是，项目依赖 Whisper、Stable Diffusion（latent diffusion）、MediaPipe（人脸检测）、InsightFace（面部解析）等多个重型库，首次环境配置可能需要 1-2 小时。官方提供了 setup_env.sh 脚本和 cog.yaml 容器配置，可显著简化环境搭建。值得注意的是，v1.5 版本已经将训练 VRAM 需求降至 20GB，部署友好度有所提升。
客观来说，LatentSync 仍有其局限：
LatentSync 的开源在数字人/虚拟主播社区引发了不小的震动。它的意义不仅在于提供了一个效果领先的唇形同步工具，更在于它代表了一种新的技术路线——直接利用生成式 AI 的隐空间能力，跳过手工特征工程，这对整个 Audio-Driven Video Generation 领域都有方法论层面的参考价值。
从数据上看，LatentSync 在 GitHub 上 5700+ Stars、900+ Forks 的成绩，证明了其在开发者社区的认可度。更重要的是，字节跳动团队持续在公开论文中披露技术细节，包括 TREPA 损失的论文和 SyncNet 改进版本的链接，为学术研究者提供了可追溯的 baseline。
# 克隆仓库
git clone https://github.com/bytedance/LatentSync.git
cd LatentSync
# 创建 conda 环境
bash setup_env.sh
# 下载模型权重
huggingface-cli download ByteDance/LatentSync-1.6 --local-dir checkpoints
# Gradio Web UI
python gradio_app.py
# 命令行推理
bash inference.sh
总结：LatentSync 是目前开源唇形同步领域的标杆项目，端到端的设计理念、Stable Diffusion 隐空间的复用策略、以及持续迭代的务实态度，共同构成了它的核心竞争力。适合有 GPU 资源、需要在数字人、视频配音、内容本地化等场景中实现高质量唇形同步的团队使用。