coqui/XTTS-v2 在华为昇腾 Ascend NPU 上的适配版本。
{hardware NPU}
XTTS-v2 是 Coqui TTS 发布的零样本(zero-shot)多语言文本到语音合成模型。它支持 17 种语言,能够在给定 3 秒以上参考音频的情况下实现声音克隆。
| 项目 | 参数 |
|---|---|
| 参数量 | ~1.87B(含 GPT + 解码器 + 说话人编码器) |
| 输入 | 文本 + 参考音频(3-30s,22050Hz) |
| 输出 | 24kHz 16-bit 单声道 WAV |
| 支持语言 | en, zh-cn, es, fr, de, it, pt, pl, tr, ru, nl, cs, ar, hu, ko, ja, hi |
| 硬件 | 昇腾 Ascend 910B / 910C |
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/推荐从 HuggingFace 镜像或 ModelScope 拉取:
# hf-mirror
export HF_ENDPOINT=https://hf-mirror.com
python3 -c "
from huggingface_hub import snapshot_download
snapshot_download('coqui/XTTS-v2', local_dir='./weights')
"权重文件清单:
model.pth(~1.87GB) - 主模型权重dvae.pth(~210MB) - DVAE 解码器speakers_xtts.pth(~7.7MB) - 说话人嵌入config.json - 模型配置vocab.json - 词表python3 inference.py \
--text "Hello, this is a test of the XTTS v2 voice cloning system." \
--ref-audio /path/to/reference.wav \
--language en \
--device npu:0 \
--output output.wav \
--warmup| 指标 | 值 |
|---|---|
| 音频采样率 | 24kHz |
| 合成时长(~20 token 文本) | ~10s(NPU)/ ~60s(CPU) |
| Speaker embedding cos(NPU vs CPU) | 0.99999 |
| GPT 条件潜变量 cos(NPU vs CPU) | 1.00000 |
本适配对以下 NPU 算子限制进行了兼容性处理:
torch.abs 不支持 complex 输入:NPU 上 torch.stft → complex → abs() 会产生 aclnnAbs 错误。通过在 inference.py 中全局修补 torch.abs 和 torch.Tensor.abs,对 complex+NPU 张量自动 fallback 到 CPU 计算后移回 NPU 解决。
torchaudio 的 torchcodec 依赖:aarch64 平台上 torchcodec 的 libtorchcodec_image.so 无法加载。通过使用 soundfile 替代 torchaudio 的加载/保存函数解决。
transformers 4.50+ 的 GenerationMixin 移除:TTS 的 GPT2InferenceModel 依赖 generate() 方法,在 transformers 4.50+ 中 PreTrainedModel 不再继承 GenerationMixin。通过为 GPT2InferenceModel 添加 GenerationMixin 基类解决。
