ohhoohho/XTTS-v2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

XTTS-v2 - 昇腾 NPU 适配

coqui/XTTS-v2 在华为昇腾 Ascend NPU 上的适配版本。

{hardware NPU}

模型简介

XTTS-v2 是 Coqui TTS 发布的零样本(zero-shot)多语言文本到语音合成模型。它支持 17 种语言,能够在给定 3 秒以上参考音频的情况下实现声音克隆。

模型架构

  • GPT(30 层 Transformer,1024 通道):自回归文本到音频 token 生成
  • Conditioning Encoder(Perceiver Resampler):变长音频条件编码
  • Speaker Encoder(ResNet):说话人嵌入提取
  • DVAE Decoder:音频 token 到潜变量解码
  • HiFi-GAN Decoder:潜变量到波形解码

规格

项目参数
参数量~1.87B(含 GPT + 解码器 + 说话人编码器)
输入文本 + 参考音频(3-30s,22050Hz)
输出24kHz 16-bit 单声道 WAV
支持语言en, zh-cn, es, fr, de, it, pt, pl, tr, ru, nl, cs, ar, hu, ko, ja, hi
硬件昇腾 Ascend 910B / 910C

环境要求

  • Python 3.10+
  • torch 2.9.0 + torch_npu 2.9.0.post1
  • CANN 8.5.1
  • 昇腾 Ascend 910B / 910C(NPU 内存 ≥ 8GB)

快速开始

1. 安装依赖

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

2. 下载权重

推荐从 HuggingFace 镜像或 ModelScope 拉取:

# hf-mirror
export HF_ENDPOINT=https://hf-mirror.com
python3 -c "
from huggingface_hub import snapshot_download
snapshot_download('coqui/XTTS-v2', local_dir='./weights')
"

权重文件清单:

  • model.pth(~1.87GB) - 主模型权重
  • dvae.pth(~210MB) - DVAE 解码器
  • speakers_xtts.pth(~7.7MB) - 说话人嵌入
  • config.json - 模型配置
  • vocab.json - 词表

3. 运行推理

python3 inference.py \
  --text "Hello, this is a test of the XTTS v2 voice cloning system." \
  --ref-audio /path/to/reference.wav \
  --language en \
  --device npu:0 \
  --output output.wav \
  --warmup

合成效果

指标值
音频采样率24kHz
合成时长(~20 token 文本)~10s(NPU)/ ~60s(CPU)
Speaker embedding cos(NPU vs CPU)0.99999
GPT 条件潜变量 cos(NPU vs CPU)1.00000

昇腾 NPU 适配说明

兼容性修补

本适配对以下 NPU 算子限制进行了兼容性处理:

  1. torch.abs 不支持 complex 输入:NPU 上 torch.stft → complex → abs() 会产生 aclnnAbs 错误。通过在 inference.py 中全局修补 torch.abs 和 torch.Tensor.abs,对 complex+NPU 张量自动 fallback 到 CPU 计算后移回 NPU 解决。

  2. torchaudio 的 torchcodec 依赖:aarch64 平台上 torchcodec 的 libtorchcodec_image.so 无法加载。通过使用 soundfile 替代 torchaudio 的加载/保存函数解决。

  3. transformers 4.50+ 的 GenerationMixin 移除:TTS 的 GPT2InferenceModel 依赖 generate() 方法,在 transformers 4.50+ 中 PreTrainedModel 不再继承 GenerationMixin。通过为 GPT2InferenceModel 添加 GenerationMixin 基类解决。

推理流程

agent_workflow npu_device_call model_result

参考

  • Coqui TTS 官方仓库
  • HuggingFace 模型页