MOSS-Audio-Tokenizer · 模型与框架

音频 AI 的「翻译机」：MOSS-Audio-Tokenizer 如何把声音变成机器能读的语言

你有没有想过，当你对手机说一句话，它是如何把你的声音变成文字、再理解你的意图的？这背后有一个关键的"翻译官"——音频 Tokenizer（音频分词器）。它的任务是把连续的声音波形，翻译成 AI 模型能理解的离散"词块"，就像把一本书拆成一个个单词。

2026 年 2 月，来自模思智能（OpenMOSS）团队的 MOSS-Audio-Tokenizer 在 GitHub 开源，一跃成为音频 AI 领域最受关注的项目之一。这个 16 亿参数的大模型，基于团队提出的 Cat（Causal Audio Tokenizer with Transformer） 架构，在 300 万小时多样化音频数据上训练，能以极低的码率实现无损音质重建，同时保持丰富的语义信息——这意味着它不只是"听见"声音，更是"听懂"声音。

背景：从 CNN 到 Transformer，音频建模的范式转变

传统的音频分词器，如 SoundStream、Encodec、HiFi-Codec，几乎都采用 CNN（卷积神经网络） 作为骨干。这类架构在音频建模上表现不错，但存在明显的瓶颈：CNN 的感受野受限于固定卷积核的大小，难以捕获音频中跨秒级甚至跨分钟的长程依赖关系。此外，CNN 的局部特性使其难以实现端到端的全局优化，在面对极端压缩（4kbps 以下）时性能下降明显。

另一个限制是"语义鸿沟"。传统方法将音频编码为声学 Token，这些 Token 高度忠实于原始音频波形，但缺乏语义信息——也就是说，它们记录了"声音长什么样"，却没有告诉 AI"这段声音在说什么"。下游的语音识别（ASR）或语音合成（TTS）任务，仍需要额外的语义编码器来弥补这个鸿沟。

MOSS 团队认为，要解决这两个问题，需要从根本上重新思考音频分词器的架构设计。

核心技术：Cat 架构——纯 Transformer 的音频编码器

Cat 架构的核心思想异常简洁：用纯因果 Transformer 替代 CNN 作为骨干网络。这意味着整个模型由一系列自注意力机制堆叠而成，没有卷积层，理论上能捕获任意距离的依赖关系。

编码器（Encoder）

音频信号首先被分块（patching）成 240 个采样点（约 10ms，24kHz 采样率下），每个 patch 通过线性映射进入隐藏空间。编码器由 12 层因果 Transformer 组成，每层包含多头自注意力（12 头，维度 768）和前馈网络。这种设计让编码器能充分理解音频在时间维度上的上下文关系。

残差矢量量化器（RVQ）

编码后的表示通过一个 32 层残差矢量量化器（RVQ） 进行离散化。RVQ 的每一层维护一个 codebook，通过最近邻搜索将连续表示映射到离散的 code 序列。不同层捕获不同粒度的信息：前几层负责捕捉粗糙的音高/音色特征，后几层补充高频细节。

这种设计最巧妙之处在于可变码率：只需使用前 8 层（~1kbps）就能获得可接受的音质；使用全部 32 层（~4kbps）则可实现接近透明的音质重建。这让下游应用可以在"压缩率"和"质量"之间自由权衡。

解码器（Decoder）

解码器采用与编码器对称的结构，通过 32 层 Transformer 将离散 code 序列重建为音频波形。团队还引入了对抗训练（Multi-scale STFT Discriminator）来提升重建音质。

端到端联合优化

Cat 架构的一个关键优势是全链路可微分。编码器、RVQ、解码器和判别器在一个统一的训练流程中联合优化，没有蒸馏、没有预训练 encoder，真正从零开始学习音频表示。这与依赖 HuBERT 或 Whisper 等预训练模型的方法形成鲜明对比。

性能表现：全面领先的开源音频分词器

团队在多个公开数据集上对 MOSS-Audio-Tokenizer 进行了评估，结果令人印象深刻：

LibriSpeech 语音重建：在相近码率下，SIM（语义相似度）、STOI（可懂度）、PESQ（感知质量）三项指标全面领先于 Encodec、SoundStream、HiFi-Codec 等主流开源方案。
极低码率（0.125kbps - 1kbps）：Cat 架构在 1kbps 以下依然保持稳定的重建质量，这是 CNN 架构难以企及的区域。
语义对齐：借助一个 0.5B 参数的辅助 LLM，编码出的离散 Token 同时蕴含声学和语义信息，在 ASR 和音频 captioning 任务上表现优异。

模型族目前包括四个版本：

版本	采样率	声道	参数量	适用场景
MOSS-Audio-Tokenizer	24kHz	单声道	1.6B	通用音频、语音
MOSS-Audio-Tokenizer-v2	48kHz	立体声	更大	高保真音乐
MOSS-Audio-Tokenizer-Nano	48kHz	立体声	~20M	边缘设备
ONNX Runtime 版本	24kHz	单声道	—	高性能推理

使用方式：Python API + 多后端支持

MOSS-Audio-Tokenizer 的使用方式非常 Pythonic。安装依赖后，通过 Hugging Face Transformers 加载模型，三行代码即可完成音频编码：

import torch
from transformers import AutoModel
import torchaudio

model = AutoModel.from_pretrained(
    "OpenMOSS-Team/MOSS-Audio-Tokenizer",
    trust_remote_code=True
).eval()

wav, sr = torchaudio.load("audio.wav")
wav = torchaudio.functional.resample(wav, sr, model.sampling_rate).unsqueeze(0)

# 编码：音频 → 离散 Token
codes = model.encode(wav, return_dict=True)

# 解码：Token → 音频
reconstructed = model.decode(codes.audio_codes, return_dict=True)
torchaudio.save("output.wav", reconstructed.audio.squeeze(0), model.sampling_rate)

除了 PyTorch 原生实现，仓库还提供了 ONNX Runtime 和 TensorRT 加速后端，可以在没有 PyTorch 依赖的环境中实现高性能推理。这使得 MOSS-Audio-Tokenizer 能够被集成到各种生产系统中。

流式推理也是亮点：设置 chunk_duration 参数即可实现流式编解码，适合实时语音交互场景（如实时 TTS、语音对话）。

上手门槛：适合有 AI 背景的开发者

这是一款面向研究与生产的工具，而非消费级应用。使用门槛包括：

硬件要求：1.6B 参数的完整模型需要约 8GB+ 显存（FP16），推荐 24GB 显存的 GPU（如 A100/A6000）以获得流畅体验。CPU 可以运行但速度较慢。
Python 经验：需要熟悉 PyTorch 和 Hugging Face 生态，了解音频处理基础概念（采样率、波形等）。
CUDA 环境：需要正确配置 NVIDIA 驱动和 CUDA 工具链（>= 11.8）。

对于只想体验音质的非技术用户，可以直接访问团队提供的 MOSS-TTS 在线 Demo，感受基于该 Tokenizer 的语音合成效果。

局限与挑战

MOSS-Audio-Tokenizer 并非完美无缺，以下几点值得注意：

模型体积：1.6B 参数意味着模型文件超过 3GB（FP16），下载和部署都需要一定的存储和网络条件。团队已推出 20M 参数的 Nano 版本作为替代。
单声道为主：标准版仅支持 24kHz 单声道，立体声高保真场景需要使用 v2 版本。
无开箱即用 Web 界面：这是一个 Python 库，没有自带 Web UI，需要集成到下游应用中。对于非开发者而言上手成本较高。
生态尚在完善：作为 2026 年初才开源的项目，周边工具（如监控、可视化）与成熟生态（如 Meta 的 Audiobox）相比还有差距。

行业意义：下一代原生音频大模型的基础设施

MOSS-Audio-Tokenizer 的出现，标志着音频分词器正式进入千亿参数时代。在此之前，音频分词器多被视为"辅助模块"，服务于下游的 TTS 或 ASR 任务。而 Cat 架构证明了：只要数据和算力足够，音频分词器本身就能成为一个强大的语义-声学统一表示学习器。

这一方向与 Meta 的 Audiobox、OpenAI 的 GPT-4o 音频能力不谋而合——都在追求让 AI 不仅能"处理"音频，更能"理解"音频。MOSS 团队的开源实践，为中文 AI 社区提供了一个高性能、免费可商用的音频分词基础设施，有望催生出更多高质量的语音生成、语音交互和音乐生成应用。

相关链接：

GitHub：OpenMOSS/MOSS-Audio-Tokenizer
论文：arXiv:2602.10934
Hugging Face：OpenMOSS-Team/MOSS-Audio-Tokenizer
官网：mosi.cn