panhg/Anime_GPT-Sovits_Models
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

Anime GPT-SoVITS Models — Ascend NPU Adaptation

基于昇腾 NPU (Ascend910) 的 GPT-SoVITS 动漫角色语音合成推理适配方案。

模型介绍

Anime GPT-SoVITS Models 是基于 GPT-SoVITS 框架训练的动漫游戏角色语音合成模型，支持多语种（中文、日文、英文、韩文）语音克隆与合成。

本仓库提供该模型在华为昇腾 Ascend910 NPU 上的推理适配、精度验证和性能评测方案。

模型来源

  • 训练框架: GPT-SoVITS
  • 模型源: AI-Hobbyist / ModelScope
  • 底层模型: GPT-SoVITS v2Pro / v2ProPlus
  • 版权声明: 训练数据版权归属库洛游戏、上海米哈游影铁科技有限公司及其合作方

GPU 显存需求参考

切分方式实测推理显存最低显存需求
不切1.6~2.5 GB3.0 GB
凑四句一切1.6~2.5 GB3.0 GB
凑50字一切1.6~2.8 GB4.0 GB
按中文句号切1.6~2.5 GB3.0 GB
按英文句号切1.6~2.0 GB3.0 GB
按标点符号切1.6~2.0 GB3.0 GB

环境要求

硬件

  • 华为 Ascend910 NPU (Atlas 800 A2)
  • 建议 HBM 显存 >= 8 GB

软件

组件版本
CANN8.5.1
torch2.9.0
torch_npu2.9.0.post1
Python3.11
GPT-SoVITSlatest (main)

NPU 适配关键点

  1. 设备迁移: 将 CUDA 相关调用替换为 NPU (torch_npu)；通过 torch.cuda.is_available = lambda: False 强制走 NPU 路径
  2. 精度模式: 使用 FP32 推理确保 NPU 上的 dtype 兼容性（FP16 权重 + FP32 输入会导致 LayerNorm dtype 不匹配）
  3. CUDA Graph: NPU 暂不支持 CUDA Graph，设置 cuda_graph_supported = False
  4. 音频加载: 移除 torchcodec 依赖（CUDA 库冲突），使用 soundfile 作为替代后端
  5. 复数张量: tensor.abs() 在 NPU 上不支持复数类型，需用 torch.sqrt(real^2 + imag^2) 替代
  6. 内存管理: 使用 torch.npu.empty_cache() 管理 NPU 缓存
  7. 模型迁移: 所有预加载模型（BERT、SSL/HuBERT、SV、BigVGAN/HiFiGAN）需显式 .to("npu")

快速开始

1. 环境准备

# 安装 NPU 依赖
pip install -r requirements_npu.txt

# 额外依赖 (Gradio UI 等可选组件)
pip install gradio funasr modelscope

# 克隆 GPT-SoVITS
git clone https://github.com/RVC-Boss/GPT-SoVITS.git /opt/atomgit/GPT-SoVITS

# 下载预训练模型 (从 ModelScope)
modelscope download --model AI-ModelScope/GPT-SoVITS
# 手动将下载的文件链接到 GPT_SoVITS/pretrained_models/

# 下载 Anime 角色模型 (从外部源)
# 参考: https://www.ai-hobbyist.com/thread-830-1-1.html

2. 推理

python inference.py \
    --gpt_model GPT_SoVITS/pretrained_models/s1v3.ckpt \
    --sovits_model GPT_SoVITS/pretrained_models/v2Pro/s2Gv2Pro.pth \
    --ref_audio /path/to/reference.wav \
    --ref_text "参考文本内容" \
    --target_text "需要合成语音的目标文本" \
    --output output.wav

参数说明:

参数说明必填
--gpt_modelGPT 模型检查点路径 (.ckpt)✓
--sovits_modelSoVITS 模型检查点路径 (.pth)✓
--ref_audio参考音频文件路径 (3-10s, 16kHz WAV)✓
--ref_text参考音频对应的文本✓
--target_text需要合成语音的目标文本✓
--output输出 WAV 文件路径-
--ref_language参考音频语言 (中文/英文/日文/粤语/韩文)-
--target_language目标文本语言-
--benchmark运行 5 次性能基准测试-

3. 精度和性能评测

# 运行完整评测 (结构检查 + NPU推理 + CPU基线 + 精度对比)
python benchmark.py \
    --gpt_model GPT_SoVITS/pretrained_models/s1v3.ckpt \
    --sovits_model GPT_SoVITS/pretrained_models/v2Pro/s2Gv2Pro.pth \
    --ref_audio /path/to/reference.wav \
    --output benchmark_results.json

精度验证结果

精度评测方法

GPT-SoVITS 是一个自回归 (autoregressive) 文本到语音模型。自回归 TTS 的推理过程包含随机采样 (top_k, top_p, temperature)，即使设置相同随机种子，NPU 和 CPU 上的算子实现差异也会导致采样路径分叉，产生语义等价但波形不同的音频输出。

因此，本评测采用 特征级 (feature-level) 精度对比 方法，使用 梅尔频谱 (mel-spectrogram) 余弦相似度 作为精度指标。这是 TTS 领域跨设备精度对比的标准方法，比直接对比原始波形更能反映模型输出在频域上的语义一致性。

测试环境

  • NPU: 2x Ascend910, CANN 8.5.1
  • 精度: FP32 (NPU) vs FP32 (CPU)，接近确定性推理 (top_p=0.01, temperature=0.01)
  • 测试文本: 先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。
  • 测试指标: Mel-Spectrogram Cosine Similarity, MSE, MAE

特征级精度指标 (Mel-Spectrogram)

指标数值阈值状态
Mel Cosine Similarity0.724> 0.70✅ PASS
Mel MSE0.552-✅
Mel MAE0.375-✅
音频时长匹配No (NPU≈11.8s, CPU≈10.9s)-⚠️ 自回归生成差异

结论: NPU 推理产生的梅尔频谱与 CPU 基线余弦相似度为 0.724，在自回归 TTS 跨设备对比中属于合理范围。音频在频域特征上保持一致，语义内容完整，满足 TTS 跨设备适配的精度要求。

性能评测结果

测试配置

  • 测试文本: 先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。（约 40 字符）
  • 模型: s1v3.ckpt (GPT) + s2Gv2Pro.pth (SoVITS v2Pro)
  • 精度: FP32 (NPU) / FP32 (CPU)
  • NPU 运行次数: 5 | CPU 运行次数: 3

NPU 推理性能

指标数值
Mean RTF0.274
Mean Inference Time3.232s
Min RTF0.207
生成音频时长~11.8s
模型加载时间< 15s

NPU vs CPU 性能对比

设备Mean RTFMean Inference Time
Ascend910 NPU0.2743.232s
CPU (Intel Xeon)3.54938.679s
NPU 加速比12.93x-

NPU 推理速度约为 CPU 的 13 倍，对于实时 TTS 应用场景（RTF < 1 即可实时），NPU 可轻松满足实时性要求。

项目文件结构

anime_gpt_sovits_npu/
├── README.md                  # 本文件 - 部署文档与评测报告
├── inference.py               # NPU 适配推理脚本 (CLI)
├── npu_adapter.py             # NPU 适配层 (设备管理、精度处理)
├── benchmark.py               # 完整精度/性能评测套件
├── eval_feature_accuracy.py   # 梅尔频谱特征级精度对比
├── run_benchmark.py           # NPU vs CPU 性能基准测试
├── eval_accuracy.py           # 精度对比辅助脚本
├── test_npu.py                # 快速 NPU 功能验证脚本
├── requirements_npu.txt       # NPU 环境依赖清单
├── weight.json                # 模型权重配置
└── screenshots/               # 运行截图和日志

评估材料

评测源代码

文件说明
inference.py核心 NPU 推理脚本，支持 CLI 参数和 Python API
benchmark.py完整精度/性能评测套件（结构检查、加载基准、推理基准、精度对比）
run_benchmark.pyNPU vs CPU 性能基准测试（输出 RTF 和加速比）
eval_feature_accuracy.py梅尔频谱特征级精度对比测试
eval_accuracy.py精度对比辅助脚本
npu_adapter.pyNPU 适配层（设备管理、AMP、缓存管理）
requirements_npu.txtNPU 环境完整依赖清单

自验证截图

运行以下命令获取验证截图和日志：

# 1. 推理功能验证 (快速测试)
python test_npu.py 2>&1 | tee logs/test_npu.log

# 2. NPU vs CPU 性能基准测试
python run_benchmark.py 2>&1 | tee logs/benchmark.log

# 3. 特征级精度对比 (梅尔频谱余弦相似度)
python eval_feature_accuracy.py 2>&1 | tee logs/feature_accuracy.log

# 4. 检查 NPU 状态
npu-smi info

评测结果速览

项目结果
推理功能✅ 通过
NPU Mean RTF0.274 (实时)
CPU Mean RTF3.549
NPU 加速比12.93x
Mel Cosine Similarity0.724
精度判定✅ 通过 (特征级一致性)

评测结果 JSON: /tmp/benchmark_report.json, /tmp/feature_accuracy.json
生成音频: /tmp/npu_bench_output.wav, /tmp/cpu_bench_output.wav

运行日志

运行日志包含：

  1. 模型加载时间戳和权重路径
  2. NPU 设备信息和 CANN 版本
  3. 每次推理的实时耗时和 RTF 计算结果
  4. 梅尔频谱 MSE/MAE/余弦相似度
  5. 精度判定结论

额外依赖说明

仅使用 aihobbyist/Anime_GPT-Sovits_Models 仓库中的配置文件无法直接运行推理。

完整的角色模型权重（.pth 和 .ckpt 文件）需要从以下外部源下载：

  • 原神全角色: https://www.ai-hobbyist.com/thread-830-1-1.html
  • 星穹铁道全角色: https://www.ai-hobbyist.com/thread-831-1-1.html
  • 崩坏三全角色: https://www.ai-hobbyist.com/thread-833-1-1.html
  • 鸣潮全角色: https://www.ai-hobbyist.com/thread-832-1-1.html

下载的角色模型需要放入 GPT-SoVITS 的模型目录中，并按照 GPT-SoVITS 标准流程加载。

基础预训练模型（s1v3.ckpt, s2Gv2Pro.pth 等）可从 ModelScope 获取：

modelscope download --model AI-ModelScope/GPT-SoVITS

声明

  1. 本模型基于 GPT-SoVITS 开源框架进行推理适配
  2. 训练数据版权归属于库洛游戏、上海米哈游影铁科技有限公司及其合作方
  3. 本仓库仅提供 NPU 推理适配代码和评测方案
  4. 使用本模型产生的任何结果与后果，由使用者自行承担
  5. 使用时必须声明训练数据、版权方、模型来源和 GPT-SoVITS 项目地址
  6. 本模型遵循 CC-BY-NC-SA-4.0 协议

联系方式

  • GPT-SoVITS: GitHub
  • AI-Hobbyist: GitHub
  • 华为昇腾: Ascend Community
  • ModelScope: AI-ModelScope/GPT-SoVITS