J
gcw_9PElOpHK/chatterbox-NPU
模型介绍
文件和版本
Pull Requests
讨论
分析

Chatterbox 多语言 TTS — 昇腾 NPU 适配

ResembleAI/chatterbox(Chatterbox Multilingual V2, 500M Llama 骨干)在 昇腾 Ascend910B NPU 上跑通的零样本多语言语音合成(TTS)+ 音色克隆部署。

  • 引擎:transformers + torch_npu(T3 自回归语言模型 + S3Gen 声码器)
  • 支持 23 种语言,输出 24kHz 音频
  • NPU 适配:复数 FFT 算子(torch.stft/istft)在昇腾不可用 → 3 处小算子回退 CPU,重计算全量上 NPU
  • CPU vs NPU 一致性:T3 logits 余弦 ≥ 0.99

详见 readme.md(部署文档)与 VALIDATION.md(验证报告)。

快速开始

pip install -r requirements.txt
python3 download_model.py          # 权重 -> /tmp/chatterbox_model
python3 inference.py --demo        # English + Chinese 内置音色演示
python3 inference.py --compare-cpu # CPU vs NPU 一致性验证