Chatterbox 是 Resemble AI 开源的一款生产级文本转语音(TTS)模型,基于 MIT 协议发布。其核心架构采用 0.5B 规模的 Llama 骨干网络(T3)配合 S3Gen 语音解码器与 HiFi-GAN 声码器,支持零样本语音克隆、多语种合成(23 种语言)以及情感夸张度控制等能力。
本次适配工作在昇腾 910 NPU 上完成了 Chatterbox 模型的完整部署与验证,涵盖模型权重加载、算子兼容性分析、NPU 推理适配以及 HTTP 服务化封装。适配过程中针对 NPU 上 torch.istft 算子支持不完整的问题,实现了 HiFi-GAN 声码器的 CPU 回退策略,确保生成音频的精度与质量。
| 类别 | 项目 | 规格 |
|---|---|---|
| 硬件 | NPU 型号 | Ascend 910 (Chip 0, Phy-ID 14) |
| 硬件 | HBM 容量 | 64 GB |
| 驱动 | CANN 版本 | 8.5.1 |
| 工具 | npu-smi 版本 | 25.5.5 |
| 运行时 | Python 版本 | 3.11.14 |
| 框架 | PyTorch 版本 | 2.9.0 |
| 框架 | torch_npu 版本 | 2.9.0.post1 |
| 推理库 | chatterbox-tts | 0.1.7 |
| 依赖 | torchaudio | 2.9.0 |
| 服务 | FastAPI / uvicorn | 最新稳定版 |
pip install -r requirements.txt注意:chatterbox-tts 会依赖 torchaudio 和 transformers,请确保环境中 torch_npu 版本与 torch 匹配,避免因包版本冲突导致 NPU 设备加载失败。
PYTHONNOUSERSITE=1 \
PYTHONPATH="/usr/local/python3.11.14/lib/python3.11/site-packages:/opt/atomgit/.local/lib/python3.11/site-packages" \
python inference.py --text "欢迎体验昇腾 NPU 上的语音合成" --output welcome.wav参数说明:
--text:待合成文本,支持中英文及标点符号自动规范化--output:输出音频路径(WAV 格式,24kHz 采样率)--audio-prompt:可选,参考音频路径,用于零样本语音克隆--exaggeration:情感夸张程度,范围 0.0~1.0,默认 0.5--cfg:无分类器引导权重,范围 0.0~1.0,默认 0.5PYTHONNOUSERSITE=1 \
PYTHONPATH="/usr/local/python3.11.14/lib/python3.11/site-packages:/opt/atomgit/.local/lib/python3.11/site-packages" \
python inference.py --serve --port 8002部署完成后,执行以下命令快速验证服务是否正常运行:
1. 健康检查
curl http://127.0.0.1:8002/health预期返回:
{"status":"ok","device":"npu:0","model":"ResembleAI/chatterbox","sample_rate":24000}2. 推理测试
curl -X POST http://127.0.0.1:8002/tts_json \
-H 'Content-Type: application/json' \
-d '{"text":"Hello, this is a test of Chatterbox TTS running on Ascend NPU for voice synthesis.","cfg_weight":0.5,"temperature":0.8}'预期返回包含 audio_base64、duration_s、inference_time_s 等字段的 JSON 对象。
以下性能数据基于昇腾 910 NPU(Chip 14)实测,输入文本为 18 个单词的英文句子:
| 指标 | 数值 |
|---|---|
| 模型加载耗时 | 13.91 s |
| 首次推理耗时(含算子编译) | 15.05 s |
| 稳态推理耗时 | 5.18 s |
| 生成音频时长 | 4.52 s |
| NPU 显存占用(服务进程) | 3338 MB |
| NPU HBM 总使用量 | 10633 MB / 65536 MB |
| 实时率(RTF) | 1.15 |
说明:首次推理需进行 NPU 算子图编译与内存初始化,后续推理延迟会显著降低。实时率 RTF = 推理耗时 / 音频时长,数值接近 1 表示接近实时合成。
采用与官方 PyTorch 实现相同的推理流程,在昇腾 NPU 上进行精度验证:
NPU 适配涉及的关键算子兼容性:
| 算子 | 组件 | 兼容性 | 处理方式 |
|---|---|---|---|
| nn.Linear | T3 / S3Gen / VE | 原生支持 | 直接 NPU 计算 |
| nn.Embedding | T3 | 原生支持 | 直接 NPU 计算 |
| nn.LayerNorm | T3 / S3Gen | 原生支持 | 直接 NPU 计算 |
| scaled_dot_product_attention | T3 (Llama) | 原生支持 | 直接 NPU 计算 |
| nn.LSTM | VoiceEncoder | 原生支持 | 直接 NPU 计算 |
| nn.ConvTranspose1d | HiFTGenerator | 原生支持 | 直接 NPU 计算 |
| torch.istft | HiFTGenerator | 受限 | CPU 回退后迁回 NPU |
PYTHONNOUSERSITE=1 环境变量启动,并通过 PYTHONPATH 显式控制搜索顺序。ResembleAI/chatterbox/
├── inference.py # 推理脚本(命令行 + HTTP 服务)
├── README.md # 本文档
├── requirements.txt # Python 依赖清单
├── npu_patch.py # 昇腾 NPU 适配补丁(iSTFT CPU 回退)
└── assets/
└── README.md # 资源目录说明