Step-Audio-TTS-3B

Step-Audio-TTS-3B 是业内首款基于 LLM-Chat 范式在大规模合成数据集上训练的文本转语音（TTS）模型。该模型在 SEED TTS Eval 基准测试中取得了语音识别字符错误率（CER）的最先进（SOTA）结果。它支持多种语言、丰富的情感表达以及多样化的语音风格控制。值得关注的是，Step-Audio-TTS-3B 也是业内首个能够生成说唱（RAP）和哼唱（Humming）的 TTS 模型，这标志着语音合成领域的一项重大进展。

本仓库提供了 StepAudio-TTS-3B 的模型权重，这是一个采用双码本训练的大语言模型（LLM），用于文本到语音的合成。此外，仓库还包含一个通过双码本方法训练的声码器，以及一个专门针对哼唱生成优化的声码器。这些资源共同利用先进的双码本训练方法，实现了高质量的语音合成和哼唱功能。

GLM-4-Voice 与 MinMo 的内容一致性（CER/WER）性能对比

TTS模型在SEED测试集上的结果

• StepAudio-TTS-3B-Single表示采用双码本主干与单码本声码器的模型*

双码本重合成与Cosyvoice的性能对比

更多信息

如需了解更多信息，请参阅我们的代码库：Step-Audio。