F5-TTS(Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching)已成功部署在 昇腾 NPU(Atlas 800 A2)上,使用
torch_npu推理引擎。
| 组件 | 详情 |
|---|---|
| 主干网络 | DiT(Diffusion Transformer) |
| 层数 | 22 层 Transformer Block |
| 注意力头 | 16 个(dim_head=64) |
| 隐藏维度 | 1024 |
| 文本维度 | 512 |
| FF 倍数 | 2 |
| 卷积层 | 4 层 ConvNeXt-V2 |
| 参数量 | ~315M(DiT)+ 112M(BigVGAN) |
| ODE 步数 | 32(Euler 方法) |
| 声码器 | BigVGAN v2 24kHz 100-band |
文本 → 拼音分词 → DiT 去噪(32步) → Mel 频谱 → BigVGAN → 波形| 项目 | 规格 |
|---|---|
| NPU | 华为昇腾 910(Atlas 800 A2) |
| 内存 | ≥ 8GB HBM(推荐 16GB) |
| CANN | 8.5.1 或兼容版本 |
| Python | 3.11 |
| 操作系统 | Linux(aarch64) |
# 核心依赖
pip install torch>=2.0.0 torch_npu>=2.9.0 torchaudio>=2.0.0
pip install safetensors torchdiffeq x-transformers
pip install bigvgan vocos encodec pypinyin rjieba
pip install soundfile numpy librosa huggingface_hub| 包名 | 版本 |
|---|---|
| torch | 2.9.0+cpu |
| torch_npu | 2.9.0.post1 |
| CANN | 8.5.1 |
| bigvgan | latest |
| vocos | 0.1.0 |
| torchdiffeq | 0.2.5 |
| x-transformers | 2.25.5 |
git clone https://gitcode.com/gcw_coj3XaOd/F5-TTS.git
cd F5-TTS# F5-TTS Base 模型(1.25GB)
mkdir -p model/F5TTS_Base
cd model/F5TTS_Base
wget https://hf-mirror.com/SWivid/F5-TTS/resolve/main/F5TTS_Base/model_1200000.safetensors
wget https://hf-mirror.com/SWivid/F5-TTS/resolve/main/F5TTS_Base/vocab.txt
cd ../..
# BigVGAN 声码器(429MB)
mkdir -p model/bigvgan_24khz_100band
cd model/bigvgan_24khz_100band
wget https://hf-mirror.com/nvidia/bigvgan_v2_24khz_100band_256x/resolve/main/config.json
wget https://hf-mirror.com/nvidia/bigvgan_v2_24khz_100band_256x/resolve/main/bigvgan_generator.pt
cd ../..# 基本使用
python inference.py --device npu --text "你好,世界!" --ref_audio ref.wav
# 自定义输出路径
python inference.py --device npu --text "你好!" --ref_audio ref.wav --output output.wav
# 基准测试
python inference.py --device npu --benchmark --benchmark_runs 20
# CPU 回退
python inference.py --device cpu --text "你好!" --ref_audio ref.wav
# 批量处理
python inference.py --device npu --text "批量测试" --audio_dir ./wavs/| 引擎 | 状态 | 说明 |
|---|---|---|
| torch_npu | ✅ 支持 | 原生 PyTorch 算子(Conv1d, Linear, MHA, LayerNorm) |
| vLLM-Ascend | ❌ 不兼容 | vLLM 仅支持 LLM 架构(decoder-only / encoder-decoder) |
| SGLang | ❌ 不兼容 | 同 vLLM,仅支持 LLM |
| MIndFormers | ❌ 不兼容 | 暂无 TTS/DiT 模型支持 |
F5-TTS 使用 DiT(扩散 Transformer) 架构和 Flow Matching ODE 求解器,与 LLM 推理有本质区别:
| 方面 | Vocos | BigVGAN |
|---|---|---|
| Mel 提取 | torchaudio MelSpectrogram | librosa + torch.stft |
| 声码器 | 基于 ISTFT | 神经网络(转置卷积) |
| NPU 兼容性 | ❌ torch.istft 在 NPU 上有 bug | ✅ 所有算子均兼容 NPU |
| 音质 | 良好 | 良好 |
决策:使用 BigVGAN 作为声码器,因为 Vocos 使用的 torch.istft 在昇腾 910 上有未解决的 aclnnUnfoldGrad 错误。
模型训练时使用 Vocos 的 mel 提取方式(mel_spec_type=vocos)。NPU 部署时改用 BigVGAN 风格的 mel 提取(mel_spec_type=bigvgan),使用 torch.stft——完全兼容 NPU。Mel 频谱格式(100 频带、24kHz、hop_length=256)保持一致。
import torch_npu
# 使用 AMP 加速推理
with torch_npu.npu.amp.autocast():
generated, _ = model.sample(...)python inference.py --device npu --text "你好,这是一个测试。" --ref_audio test_ref.wav输出:
[NPU] 检测到 2 个 NPU 设备: Ascend910_9362
[LOAD] 模型已加载到 npu
[LOAD] 声码器已加载到 npu
[INFER] 生成 2.05s 音频,耗时 1.52s(RTF: 0.741)
[SAVE] 音频已保存到 output.wavpython inference.py --device npu --benchmark --benchmark_runs 5输出:
[BENCH] 结果:
平均: 0.974s ± 0.007s
最短: 0.961s
最长: 0.984s
音频: 2.13s
RTF: 0.457| 设备 | 平均延迟 | RTF | 加速比 |
|---|---|---|---|
| CPU | ~45s | ~21.1 | 1x(基准) |
| NPU | ~0.97s | ~0.46 | ~46x |
| 文本长度 | 生成音频 | NPU 耗时 | RTF |
|---|---|---|---|
| 短(~20 字符) | ~1.5s | 0.8s | 0.53 |
| 中(~100 字符) | ~4.0s | 1.8s | 0.45 |
| 长(~300 字符) | ~10.0s | 4.5s | 0.45 |



F5-TTS/
├── inference.py # 主推理脚本
├── README.md # 本文件
├── requirements.txt # Python 依赖清单
├── verification_outputs.txt # 验证报告
├── .gitignore # Git 忽略规则
├── model/
│ ├── F5TTS_Base/
│ │ ├── model_1200000.safetensors # F5-TTS 权重(1.25GB)
│ │ └── vocab.txt # 拼音/字符词表(2545 tokens)
│ ├── vocos/ # Vocos mel 提取器配置
│ │ ├── config.yaml
│ │ └── pytorch_model.bin
│ └── bigvgan_24khz_100band/ # BigVGAN 声码器
│ ├── config.json
│ └── bigvgan_generator.pt
└── assets/
├── agent_workflow.png
├── npu_device_call.png
└── model_result.pngRuntimeError: call aclnnAddmm failedA:这是 DiT 模型首次前向传播时的早期问题。通过确保模型使用正确的 mel_dim=100 初始化输入张量(而非隐藏维度 1024)来解决。
RuntimeError: call aclnnUnfoldGrad failedA:Vocos 声码器内部使用 torch.istft,在昇腾 910 上有未解决的 NPU 兼容性问题。解决方案:改用 BigVGAN 声码器(设置 mel_spec_type=bigvgan)。
RuntimeError: call aclnnAbs failed, dtype mismatchA:Vocos mel 频谱提取使用 torchaudio.transforms.MelSpectrogram,产生的复数张量与 NPU 的 abs 操作不兼容。解决方案:使用 BigVGAN 风格的 mel 提取(torch.stft 支持复数)。
ModuleNotFoundError: No module named 'wandb'A:f5_tts 的 model/__init__.py 导入了需要 wandb 的 Trainer。解决方案:修改 __init__.py 排除 Trainer 导入,仅用于推理。
A:减小 batch size 或序列长度。推理时模型占用约 2GB HBM。对于更长序列,请减小 duration 参数。
A:使用 BigVGAN 而非 Vocos 时这是预期的。模型使用 Vocos mel 提取训练,因此可能存在轻微的领域差距。改善建议:
cfg_strength(默认 2.0,可尝试 1.5-2.5)本部署遵循原始模型的许可证:CC-BY-NC-4.0