Open-Sora
hpcaitech/Open-Sora加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
2024年3月，当 Open-Sora 1.0 首次发布时，AI 视频生成领域还是闭源巨头的天下——Runway 的 Gen-2 垄断着专业创作者的想象力，Sora 的神秘演示让整个互联网着迷却又遥不可及。然而，一支来自 Colossal-AI 团队的研究者决定打破这道壁垒：让任何拥有 GPU 的人都能参与这场创作革命。不到一年后，他们交出了 Open-Sora 2.0——一个仅用 20 万美元训练成本、就能与价值数百万美元闭源系统同台竞技的 11B 参数视频生成模型。
对于普通创作者而言，这意味着什么？想象一下：你脑海中的一个画面——"宇航员在火星表面骑自行车，背景是土星环的壮丽景观"——只需一段文字描述，15秒后就能变成一段连贯的视频。这不再是科幻，而是 2025 年普通用户触手可及的现实。
Open-Sora 由 Colossal-AI 团队开发，该团队由 HPC-AI Tech 公司支持，创始人 You Wei（尤伟）博士是分布式深度学习领域的知名学者。Colossal-AI 项目在 GitHub 上已累计超过 4.5 万星，其核心优化技术——特别是多维并行策略和显存优化——被广泛认为是训练超大模型的关键基础设施。
Open-Sora 的技术演进路线清晰地折射出开源视频生成领域的加速进化：
Open-Sora 2.0 采用 Diffusion Transformer（DiT）架构，这是当前视频生成领域的主流选择。相比传统的 U-Net 架构，DiT 在处理长序列时具有更好的可扩展性——视频本质上是一系列高维帧的序列，上下文窗口的扩展直接影响生成质量。
架构的两个核心组件：
3D 变分自编码器（Video DC-AE）：视频生成的第一步是压缩。Open-Sora 使用时空联合压缩的 VAE，将视频从像素空间映射到紧凑的潜空间。团队从 HunyuanVideo 的 VAE 起步，最终发展出自主研发的 Video DC-AE，在压缩率与重建质量间取得良好平衡。
时空扩散 Transformer（ST-DiT）：这是生成的核心。Open-Sora 2.0 采用 ST-DiT-2 架构，支持自动扩展位置编码，能处理不同分辨率、不同时长、不同宽高比的视频输入。团队采用了 SD3 架构中的 QK-Normalization 技术，确保半精度训练的数值稳定性。
类比理解：可以把 VAE 想象成一个高度提炼的"视频速记员"，把 DiT 想象成一个根据文字提示"复读"出完整视频的创意写手。两者配合，才能从简短的文字描述生成连贯、逼真的视频。
Open-Sora 支持完整的视频生成工作流：
| 功能 | 说明 |
|---|---|
| 文本生视频（T2V） | 输入文字描述，生成对应视频片段 |
| 图像生视频（I2V） | 以图片作为首帧，引导视频内容生成 |
| 视频生视频（V2V） | 对已有视频进行风格迁移或内容改造 |
| 无限时长生成 | 通过分段生成实现超长视频的连贯扩展 |
| 多分辨率支持 | 144p~1024p，多种宽高比 |
| 时长控制 | 2~15 秒单段，理论上可无限续接 |
路径一：HuggingFace Gradio 在线体验（最简单）
无需本地部署，直接访问 Hugging Face Spaces 上的在线演示。适合体验基础功能，但受限于共享 GPU 资源，生成速度较慢。
路径二：pip 快速安装（推荐开发者）
pip install "huggingface_hub[cli]"
huggingface-cli download hpcai-tech/OpenSora-STDiT-v4 --local-dir ./ckpts
python demo.py configs/opensora-v1-3/inference/t2v.py
路径三：自定义训练（高级用户）
Open-Sora 完整开源了训练代码。通过 Colossal-AI 的多维并行策略，可以用较少的 GPU 资源训练自定义视频模型。团队公开了完整的数据处理 pipeline，涵盖视频解码、时空裁剪、文本标注等环节。
这是必须正视的现实：视频生成是 AI 领域计算密度最高的任务之一。
项目没有提供 Dockerfile，这意味着本地部署需要手动管理依赖。对于没有高端 GPU 的用户，云端服务或 HuggingFace 在线体验是更现实的选择。
生成时长限制：单次生成最长约 15 秒，超长视频需要分段生成再拼接，虽然技术上可实现，但连贯性控制仍有挑战。
物理一致性：作为扩散模型，Open-Sora 在涉及复杂物理交互（碰撞、液体、柔性物体）时仍会出现瑕疵，这是当前所有视频生成模型的共同瓶颈。
内容安全：开源模型缺乏内置的内容过滤机制，恶意使用风险真实存在。团队在 README 中提到会持续关注这一问题。
对比闭源方案：Open-Sora 2.0（11B）在 VBench 评测中与 HunyuanVideo（11B）和 Step-Video（30B）持平，但这主要体现在标准 benchmark 指标上。实际用户体验高度依赖具体场景和提示词工程。
Open-Sora 2.0 最具冲击力的数字不是评测分数，而是训练成本：20 万美元。这个数字与行业报道的闭源视频生成模型单次训练成本（动辄数百万美元）形成鲜明对比。
这意味着：学术实验室可以负担得起视频生成研究；中小型创业公司可以训练定制化视频模型；独立研究者可以在消费级预算内探索架构创新。当视频生成的核心技术掌握在少数巨头手中时，行业进步的节奏由商业利益决定；当技术走向开放，创新的可能性边界将大幅扩展。