pnflly/chatterbox
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ResembleAI/chatterbox 昇腾 NPU 适配

一、简介

Chatterbox 是 Resemble AI 开源的一款生产级文本转语音(TTS)模型,基于 MIT 协议发布。其核心架构采用 0.5B 规模的 Llama 骨干网络(T3)配合 S3Gen 语音解码器与 HiFi-GAN 声码器,支持零样本语音克隆、多语种合成(23 种语言)以及情感夸张度控制等能力。

本次适配工作在昇腾 910 NPU 上完成了 Chatterbox 模型的完整部署与验证,涵盖模型权重加载、算子兼容性分析、NPU 推理适配以及 HTTP 服务化封装。适配过程中针对 NPU 上 torch.istft 算子支持不完整的问题,实现了 HiFi-GAN 声码器的 CPU 回退策略,确保生成音频的精度与质量。

二、验证环境

类别项目规格
硬件NPU 型号Ascend 910 (Chip 0, Phy-ID 14)
硬件HBM 容量64 GB
驱动CANN 版本8.5.1
工具npu-smi 版本25.5.5
运行时Python 版本3.11.14
框架PyTorch 版本2.9.0
框架torch_npu 版本2.9.0.post1
推理库chatterbox-tts0.1.7
依赖torchaudio2.9.0
服务FastAPI / uvicorn最新稳定版

三、服务启动

3.1 环境准备

pip install -r requirements.txt

注意:chatterbox-tts 会依赖 torchaudio 和 transformers,请确保环境中 torch_npu 版本与 torch 匹配,避免因包版本冲突导致 NPU 设备加载失败。

3.2 命令行推理(单次)

PYTHONNOUSERSITE=1 \
PYTHONPATH="/usr/local/python3.11.14/lib/python3.11/site-packages:/opt/atomgit/.local/lib/python3.11/site-packages" \
python inference.py --text "欢迎体验昇腾 NPU 上的语音合成" --output welcome.wav

参数说明:

  • --text:待合成文本,支持中英文及标点符号自动规范化
  • --output:输出音频路径(WAV 格式,24kHz 采样率)
  • --audio-prompt:可选,参考音频路径,用于零样本语音克隆
  • --exaggeration:情感夸张程度,范围 0.0~1.0,默认 0.5
  • --cfg:无分类器引导权重,范围 0.0~1.0,默认 0.5

3.3 服务化推理

PYTHONNOUSERSITE=1 \
PYTHONPATH="/usr/local/python3.11.14/lib/python3.11/site-packages:/opt/atomgit/.local/lib/python3.11/site-packages" \
python inference.py --serve --port 8002

四、Smoke 验证

部署完成后,执行以下命令快速验证服务是否正常运行:

1. 健康检查

curl http://127.0.0.1:8002/health

预期返回:

{"status":"ok","device":"npu:0","model":"ResembleAI/chatterbox","sample_rate":24000}

2. 推理测试

curl -X POST http://127.0.0.1:8002/tts_json \
  -H 'Content-Type: application/json' \
  -d '{"text":"Hello, this is a test of Chatterbox TTS running on Ascend NPU for voice synthesis.","cfg_weight":0.5,"temperature":0.8}'

预期返回包含 audio_base64、duration_s、inference_time_s 等字段的 JSON 对象。

五、性能参考

以下性能数据基于昇腾 910 NPU(Chip 14)实测,输入文本为 18 个单词的英文句子:

指标数值
模型加载耗时13.91 s
首次推理耗时(含算子编译)15.05 s
稳态推理耗时5.18 s
生成音频时长4.52 s
NPU 显存占用(服务进程)3338 MB
NPU HBM 总使用量10633 MB / 65536 MB
实时率(RTF)1.15

说明:首次推理需进行 NPU 算子图编译与内存初始化,后续推理延迟会显著降低。实时率 RTF = 推理耗时 / 音频时长,数值接近 1 表示接近实时合成。

六、精度测评

采用与官方 PyTorch 实现相同的推理流程,在昇腾 NPU 上进行精度验证:

  • 测试文本:"Hello, this is a test of Chatterbox TTS running on Ascend NPU for voice synthesis."
  • 默认声纹:使用内置 conds.pt 中的参考说话人嵌入
  • 生成结果:4.52 秒的 24kHz 单声道 WAV 音频
  • 质量评估:合成语音清晰自然,无背景噪声或异常毛刺,韵律与原始模型在 CPU 上的输出一致

NPU 适配涉及的关键算子兼容性:

算子组件兼容性处理方式
nn.LinearT3 / S3Gen / VE原生支持直接 NPU 计算
nn.EmbeddingT3原生支持直接 NPU 计算
nn.LayerNormT3 / S3Gen原生支持直接 NPU 计算
scaled_dot_product_attentionT3 (Llama)原生支持直接 NPU 计算
nn.LSTMVoiceEncoder原生支持直接 NPU 计算
nn.ConvTranspose1dHiFTGenerator原生支持直接 NPU 计算
torch.istftHiFTGenerator受限CPU 回退后迁回 NPU

七、注意事项

  1. Python 路径冲突:chatterbox-tts 安装时会向用户 site-packages 目录写入 torchaudio 等依赖,可能与系统级 PyTorch 版本冲突。建议使用 PYTHONNOUSERSITE=1 环境变量启动,并通过 PYTHONPATH 显式控制搜索顺序。
  2. 首次推理延迟:首次调用涉及 NPU 算子的图编译与内存分配,耗时约 15 秒,后续推理稳定在 5 秒左右,属于正常现象。
  3. 端口占用:启动前请确认目标端口未被占用,当前环境中 8000 端口已被占用,适配时选用 8002 端口。
  4. 性能优化:T3 骨干网络在 NPU 上运行良好,瓶颈主要在 HiFi-GAN 声码器的 iSTFT 阶段因 CPU 回退引入的数据搬运开销。后续可通过自定义 NPU 算子实现 iSTFT 来进一步提升性能。
  5. 模型权重:本仓库仅包含推理脚本与文档,模型权重文件需从 ModelScope 或 Hugging Face 获取。权重文件包括:ve.safetensors(声纹编码器)、t3_cfg.safetensors(T3 骨干网络)、s3gen.safetensors(语音解码器)、tokenizer.json(分词器)、conds.pt(内置说话人嵌入)。
  6. 多卡支持:当前适配使用单卡(npu:0),如需多卡推理可扩展 tensor parallelism 支持。
  7. 音频格式:合成音频输出为 24kHz 单声道 WAV 格式,可自行通过 ffmpeg 等工具重采样。

目录结构

ResembleAI/chatterbox/
├── inference.py      # 推理脚本(命令行 + HTTP 服务)
├── README.md         # 本文档
├── requirements.txt  # Python 依赖清单
├── npu_patch.py      # 昇腾 NPU 适配补丁(iSTFT CPU 回退)
└── assets/
    └── README.md     # 资源目录说明