open-dubbing
Softcatala/open-dubbing加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
微信扫码咨询客服
POMOAI — 让开源 AI 即刻运行
加载项目详情…
本应用为开源项目，仅供学习研究，请遵守其开源协议。
想象这样一个场景：你在网上看到一段精彩的英文技术演讲，但语言成了理解的最大障碍——要么硬着头肉看字幕，要么花几百元找人配音。而 Open Dubbing 项目想做的事，就是把"专业配音"这件事，用 AI 自动化搞定：给一个英文视频，输出一段自动翻译配音的目标语言视频，全程无需人工介入。
这个项目来自西班牙加泰罗尼亚地区的非营利组织 Softcatala，该组织长期专注于开源机器翻译，Open Dubbing 是其在视频本地化方向的最新探索。项目目前处于实验（experimental）阶段，但在 GitHub 已积累 433 颗星，PyPI 周下载量持续增长，显示出社区的强烈兴趣。
Softcatala 是加泰罗尼亚语机器翻译的开源旗手，旗下拥有 apertium-ca-es 等多款翻译工具。Open Dubbing 将其翻译能力延伸到了视频配音领域。
Open Dubbing 的技术本质是一条多阶段 AI 流水线（Pipeline），每个阶段调用不同的开源模型，协同完成从原视频到配音视频的转换。整个流程可以概括为：
原视频 → 音频分离 → 语音识别 → 翻译 → 语音合成 → 音视频合成 → 配音视频
具体阶段如下：
音频分离（Demucs）：使用 Meta 开源的 Demucs 4.0.1 将视频中的音频从背景音乐/人声中分离出来，确保只处理对话音频。
语音识别（Whisper）：调用 OpenAI Whisper 模型（faster-whisper 或 transformers 实现）将分离出的人声转为文字。支持自动检测视频语种，也支持手动指定。
翻译（NLLB / Apertium）：将识别出的文字翻译为目标语言。支持 Meta 的 NLLB-200 多语言翻译模型（1.3B 或 3.3B 参数两个版本），也支持 Softcatala 自研的 Apertium 翻译 API。
语音性别识别（pyannote.audio）：一个容易被忽视但极为关键的环节——配音时需要根据说话人的性别分配对应性别的合成音色。pyannote.audio 负责这个语音性别分类任务。
语音合成（TTS）：支持多种 TTS 引擎：
pip install open_dubbing[coqui]）音视频合成（FFmpeg + moviepy）：将合成的目标语言音频与原视频画面重新合成，输出最终配音视频。
open_dubbing/
├── command_line.py # CLI 入口，argparse 参数解析
├── dubbing.py # 主编排逻辑，协调各模块
├── preprocessing.py # 视频预处理（音频分离等）
├── speech_to_text*.py # Whisper 语音识别实现（faster-whisper / transformers 两套）
├── translation*.py # 翻译模块（NLLB / Apertium）
├── text_to_speech*.py # TTS 实现（edge/coqui/mms/openai/cli/api 各一套）
├── voice_gender_classifier.py # 语音性别分类
├── video_processing.py # 视频合成（FFmpeg 调用）
└── subtitles.py # 字幕生成
这种模块化设计的优势在于各环节可独立替换：用户可以只换 TTS 引擎而不动翻译模块，或只用 NLLB 而不用 Apertium。架构上属于典型的管道模式（Pipeline Pattern），清晰但串行执行，长视频耗时较长。
项目发布在 PyPI，一行命令完成核心安装：
pip install open_dubbing
如果要使用特定 TTS 引擎，还需额外安装：
pip install open_dubbing[coqui] # Coqui TTS
pip install open_dubbing[openai] # OpenAI TTS
Linux/macOS 还需要系统级安装 ffmpeg，使用 Coqui TTS 还需 espeak-ng。
实测痛点：依赖链极长——torch、demucs、pyannote.audio、transformers 任何一个安装失败都会阻断整个过程。pyannote.audio 还需要用户在 HuggingFace 官网单独接受用户协议（Accept License），否则运行时报错。
最简使用示例（将英文视频配音为加泰罗尼亚语）：
open-dubbing --input_file video.mp4 --target_language=cat --hugging_face_token=HF_TOKEN
参数非常丰富，支持指定翻译模型大小、Whisper 模型大小、TTS 引擎、GPU/CPU 切换、CPU 线程数等。但对普通用户而言，参数过多反而增加了使用门槛。
README 明确标注项目为"实验性"：
亮点：
不足：
.codecov.yml 追踪覆盖率，但 codecov 徽章无 token 无法访问真实数据Open Dubbing 的出现，折射出 AI 视频本地化领域的一个趋势：专业配音正在从"高成本人工劳动"向"低成本 AI 辅助"过渡。类似的项目还包括 VideoLingo、clone-voice 等，但 Open Dubbing 的差异化在于：
从增长曲线看，项目于 2024 年初发布，至今持续维护（CHANGELOG 定期更新），作者 Jordi Mas 在 Softcatala 社区有多年开源贡献历史，项目有一定可信度。但距离"商用级别配音"仍有显著差距，目前更适合技术探索者、内容创作者和研究者使用。
分析时间：2026-10-04 20:33 | 项目：Softcatala/open-dubbing | Stars: 433 | License: Apache-2.0