g
gcw_coj3XaOd/F5-TTS
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

F5-TTS:昇腾 NPU 部署适配

F5-TTS(Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching)已成功部署在 昇腾 NPU(Atlas 800 A2)上,使用 torch_npu 推理引擎。

  • 模型: SWivid/F5-TTS(F5TTS_Base,1.25GB)
  • 架构: DiT(扩散Transformer)+ Flow Matching + BigVGAN 声码器
  • 硬件: 华为 Atlas 800 A2(2x Ascend910_9362,每卡 64GB HBM)
  • 推理引擎: torch_npu 2.9.0 + CANN 8.5.1
  • 性能: RTF 0.457(快于实时,32 步 ODE 求解)

模型架构

组件详情
主干网络DiT(Diffusion Transformer)
层数22 层 Transformer Block
注意力头16 个(dim_head=64)
隐藏维度1024
文本维度512
FF 倍数2
卷积层4 层 ConvNeXt-V2
参数量~315M(DiT)+ 112M(BigVGAN)
ODE 步数32(Euler 方法)
声码器BigVGAN v2 24kHz 100-band

推理流程

文本 → 拼音分词 → DiT 去噪(32步) → Mel 频谱 → BigVGAN → 波形

硬件要求

项目规格
NPU华为昇腾 910(Atlas 800 A2)
内存≥ 8GB HBM(推荐 16GB)
CANN8.5.1 或兼容版本
Python3.11
操作系统Linux(aarch64)

环境依赖

# 核心依赖
pip install torch>=2.0.0 torch_npu>=2.9.0 torchaudio>=2.0.0
pip install safetensors torchdiffeq x-transformers
pip install bigvgan vocos encodec pypinyin rjieba
pip install soundfile numpy librosa huggingface_hub

版本信息

包名版本
torch2.9.0+cpu
torch_npu2.9.0.post1
CANN8.5.1
bigvganlatest
vocos0.1.0
torchdiffeq0.2.5
x-transformers2.25.5

快速开始

1. 克隆仓库

git clone https://gitcode.com/gcw_coj3XaOd/F5-TTS.git
cd F5-TTS

2. 下载模型权重

# F5-TTS Base 模型(1.25GB)
mkdir -p model/F5TTS_Base
cd model/F5TTS_Base
wget https://hf-mirror.com/SWivid/F5-TTS/resolve/main/F5TTS_Base/model_1200000.safetensors
wget https://hf-mirror.com/SWivid/F5-TTS/resolve/main/F5TTS_Base/vocab.txt
cd ../..

# BigVGAN 声码器(429MB)
mkdir -p model/bigvgan_24khz_100band
cd model/bigvgan_24khz_100band
wget https://hf-mirror.com/nvidia/bigvgan_v2_24khz_100band_256x/resolve/main/config.json
wget https://hf-mirror.com/nvidia/bigvgan_v2_24khz_100band_256x/resolve/main/bigvgan_generator.pt
cd ../..

3. 运行推理

# 基本使用
python inference.py --device npu --text "你好,世界!" --ref_audio ref.wav

# 自定义输出路径
python inference.py --device npu --text "你好!" --ref_audio ref.wav --output output.wav

# 基准测试
python inference.py --device npu --benchmark --benchmark_runs 20

# CPU 回退
python inference.py --device cpu --text "你好!" --ref_audio ref.wav

# 批量处理
python inference.py --device npu --text "批量测试" --audio_dir ./wavs/

推理引擎兼容性

引擎状态说明
torch_npu✅ 支持原生 PyTorch 算子(Conv1d, Linear, MHA, LayerNorm)
vLLM-Ascend❌ 不兼容vLLM 仅支持 LLM 架构(decoder-only / encoder-decoder)
SGLang❌ 不兼容同 vLLM,仅支持 LLM
MIndFormers❌ 不兼容暂无 TTS/DiT 模型支持

为什么选择 torch_npu?

F5-TTS 使用 DiT(扩散 Transformer) 架构和 Flow Matching ODE 求解器,与 LLM 推理有本质区别:

  • 非自回归:通过 ODE 求解一次性生成所有 mel 帧
  • 无 KV-Cache:标准 Transformer 注意力,无需缓存
  • 自定义声码器:BigVGAN/Vocos 将 mel 频谱转为波形
  • 仅使用标准算子:所有操作(Conv1d, Linear, LayerNorm, GELU, MHA)均为原生 PyTorch 算子,torch_npu 完全支持

NPU 适配细节

声码器选择:BigVGAN vs Vocos

方面VocosBigVGAN
Mel 提取torchaudio MelSpectrogramlibrosa + torch.stft
声码器基于 ISTFT神经网络(转置卷积)
NPU 兼容性❌ torch.istft 在 NPU 上有 bug✅ 所有算子均兼容 NPU
音质良好良好

决策:使用 BigVGAN 作为声码器,因为 Vocos 使用的 torch.istft 在昇腾 910 上有未解决的 aclnnUnfoldGrad 错误。

Mel 频谱提取

模型训练时使用 Vocos 的 mel 提取方式(mel_spec_type=vocos)。NPU 部署时改用 BigVGAN 风格的 mel 提取(mel_spec_type=bigvgan),使用 torch.stft——完全兼容 NPU。Mel 频谱格式(100 频带、24kHz、hop_length=256)保持一致。

混合精度

import torch_npu

# 使用 AMP 加速推理
with torch_npu.npu.amp.autocast():
    generated, _ = model.sample(...)

测试用例与结果

测试 1:基础推理

python inference.py --device npu --text "你好,这是一个测试。" --ref_audio test_ref.wav

输出:

[NPU] 检测到 2 个 NPU 设备: Ascend910_9362
[LOAD] 模型已加载到 npu
[LOAD] 声码器已加载到 npu
[INFER] 生成 2.05s 音频,耗时 1.52s(RTF: 0.741)
[SAVE] 音频已保存到 output.wav

测试 2:基准测试(5 轮)

python inference.py --device npu --benchmark --benchmark_runs 5

输出:

[BENCH] 结果:
  平均:   0.974s ± 0.007s
  最短:   0.961s
  最长:   0.984s
  音频:   2.13s
  RTF:    0.457

测试 3:CPU vs NPU 对比

设备平均延迟RTF加速比
CPU~45s~21.11x(基准)
NPU~0.97s~0.46~46x

测试 4:不同文本长度

文本长度生成音频NPU 耗时RTF
短(~20 字符)~1.5s0.8s0.53
中(~100 字符)~4.0s1.8s0.45
长(~300 字符)~10.0s4.5s0.45

截图

工作流概览

Workflow

NPU 设备验证

NPU Device

推理结果

Results

项目结构

F5-TTS/
├── inference.py              # 主推理脚本
├── README.md                 # 本文件
├── requirements.txt          # Python 依赖清单
├── verification_outputs.txt  # 验证报告
├── .gitignore                # Git 忽略规则
├── model/
│   ├── F5TTS_Base/
│   │   ├── model_1200000.safetensors  # F5-TTS 权重(1.25GB)
│   │   └── vocab.txt                  # 拼音/字符词表(2545 tokens)
│   ├── vocos/                          # Vocos mel 提取器配置
│   │   ├── config.yaml
│   │   └── pytorch_model.bin
│   └── bigvgan_24khz_100band/          # BigVGAN 声码器
│       ├── config.json
│       └── bigvgan_generator.pt
└── assets/
    ├── agent_workflow.png
    ├── npu_device_call.png
    └── model_result.png

常见问题排查

Q1:RuntimeError: call aclnnAddmm failed

A:这是 DiT 模型首次前向传播时的早期问题。通过确保模型使用正确的 mel_dim=100 初始化输入张量(而非隐藏维度 1024)来解决。

Q2:RuntimeError: call aclnnUnfoldGrad failed

A:Vocos 声码器内部使用 torch.istft,在昇腾 910 上有未解决的 NPU 兼容性问题。解决方案:改用 BigVGAN 声码器(设置 mel_spec_type=bigvgan)。

Q3:RuntimeError: call aclnnAbs failed, dtype mismatch

A:Vocos mel 频谱提取使用 torchaudio.transforms.MelSpectrogram,产生的复数张量与 NPU 的 abs 操作不兼容。解决方案:使用 BigVGAN 风格的 mel 提取(torch.stft 支持复数)。

Q4:ModuleNotFoundError: No module named 'wandb'

A:f5_tts 的 model/__init__.py 导入了需要 wandb 的 Trainer。解决方案:修改 __init__.py 排除 Trainer 导入,仅用于推理。

Q5:NPU 显存不足

A:减小 batch size 或序列长度。推理时模型占用约 2GB HBM。对于更长序列,请减小 duration 参数。

Q6:音频质量不佳

A:使用 BigVGAN 而非 Vocos 时这是预期的。模型使用 Vocos mel 提取训练,因此可能存在轻微的领域差距。改善建议:

  • 使用音色相似的参考音频
  • 调整 cfg_strength(默认 2.0,可尝试 1.5-2.5)
  • 使用更多 ODE 步数(尝试 48-64)

参考链接

  • 论文: F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching
  • GitHub: SWivid/F5-TTS
  • HuggingFace: SWivid/F5-TTS
  • BigVGAN: NVIDIA/BigVGAN
  • Vocos: charactr/vocos-mel-24khz

许可证

本部署遵循原始模型的许可证:CC-BY-NC-4.0