OmniVoice 是 k2-fsa 发布的大规模多语言零样本文本到语音(TTS)模型。基于一种新颖的扩散语言模型架构,它能够生成高质量语音并具备卓越的推理速度,同时支持声音克隆和声音设计。
本文档介绍该模型在 Ascend 800I A2 单卡环境上的推理验证、性能测试和 Seed-TTS Eval 英文数据集精度测评流程。
表1 版本配套表
| 配套 | 版本 | 环境准备指导 |
|---|---|---|
| 固件与驱动 | 25.5.0 | Pytorch框架推理环境准备 |
| CANN | 8.5.1 | 包含kernels包和toolkit包 |
| Python | 3.11 | - |
| PyTorch | 2.9.0 | - |
| Ascend Extension PyTorch | 2.9.0 | - |
| vllm | 0.19.1 | - |
| vllm_ascend | 0.19.1rc1 | vllm, vllm-ascend安装和使用指导 |
说明:Atlas 800I A2 推理服务器和Atlas 800T A2 训练服务器请以CANN版本选择实际固件与驱动版本。
docker pull quay.io/ascend/vllm-ascend:v0.19.1rc1
export IMAGE=quay.io/ascend/vllm-ascend:v0.19.1rc1
docker run -it \
--name vllm-ascend-env \
--shm-size=1g \
--net=host \
--privileged \
--device /dev/davinci_manager \
--device /dev/hisi_hdc \
--device /dev/devmm_svm \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/sbin:/usr/local/sbin \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
-v /home/:/home \
-v /data:/data \
$IMAGE bash执行后直接进入容器,退出容器(exit)后容器不会被删除,仅停止运行。后续重新进入容器:
docker start -ai vllm-ascend-envgit clone https://gitcode.com/Ascend/ModelZoo-PyTorch.git
cd ModelZoo-PyTorch/ACL_PyTorch/built-in/audio/OmniVoice注意:此刻的目录即为工作目录(下文以 workspace 代指该目录),后续进行推理测试时,需要重新进入该工作目录。
本仓对 vllm-omni 做了适配 NPU 的修改,修改以 patch 形式提供。 需要先克隆 vllm-omni 源码,切换到基准 commit,再打上补丁:
git clone https://github.com/vllm-project/vllm-omni.git
cd vllm-omni
# 切换到补丁对应的基准 commit
git checkout 7a342987
# 应用补丁
git apply -p1 /workspace/omniVoice_diff.patch
# 确认补丁已生效(应看到 3 个被修改的文件)
git status --short后续的测试依赖模型文件,须提前下载以完成后续的测试。注意本文档中指定的模型下载目录为/workspace/models/OmniVoice。
OmniVoice地址
cd /workspace
pip install -r requirements.txtbash start_omni.sh脚本内容说明:
# 预加载 jemalloc 内存分配器,提升多线程内存分配性能
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
# 启用 NPU Task Queue,降低算子下发开销
export TASK_QUEUE_ENABLE=1
# 启用 CPU 亲和性绑定,减少跨 NUMA 内存访问
export CPU_AFFINITY_CONF=1
# 绑核运行:-c 指定使用的 CPU 核(对应 NPU 0 卡的 NUMA 核范围)
# --model-path:模型权重路径
# --num-runs:正式推理次数
taskset -c 144-167 python test_omnivoice.py --model-path models/OmniVoice --num-runs 5如需自定义,可直接修改脚本中的参数。
各参数说明:
| 参数 | 说明 | 默认值 |
|---|---|---|
--model-path | 模型权重路径 | models/OmniVoice |
--num-runs | 正式推理次数 | 10 |
--out-dir | 音频输出目录 | perf_outputs |
注意,脚本里的 taskset -c 后的参数代表 NPU 卡对应的 NUMA 核,默认为 0 卡对应的核。如果用其他卡进行推理,可以用 npu-smi info -t topo 查询对应 NUMA 核,并修改。
经 5 次推理测试,计算出平均RTF(实时率),测试结果如下:
| 模型 | 硬件 | 平均 RTF |
|---|---|---|
| OmniVoice | 800I A2 | 0.1081 |
本仓基于 seed-tts-eval 对 OmniVoice 进行客观精度评测,计算 WER(Word Error Rate) 指标,衡量合成语音的内容正确率。
采用 seed-tts-eval 的英文测试集(1088 条)。测试集(约 1.24 GB)从 Google Drive 下载,解压后将 seedtts_testset/ 目录放到 workspace/acc_eval/ 下。
解压后目录结构:
workspace/acc_eval/
└── seedtts_testset/
└── en/
├── meta.lst # 1088 条 EN 测试
├── prompt-wavs/ # 1007 个 prompt 参考音频
└── wavs/ # ground truth 音频精度测评依赖字节开源的 seed-tts-eval 仓库,提供 WER 打分脚本。在 workspace/acc_eval/ 下克隆:
cd /workspace/acc_eval
git clone https://github.com/BytedanceSpeech/seed-tts-eval.git精度评测脚本 run_wer.py 在上一步克隆的 seed-tts-eval 路径下。它需要先用 ASR 模型将合成音频转录为文本,再与目标文本比对计算 WER。在英文分支中,脚本使用 OpenAI 的 Whisper-large-v3 作为 ASR 模型,通过 from_pretrained(model_id) 加载权重。请从 ModelScope 下载权重,并放置于本地目录(如 /workspace/acc_eval/models/whisper-large-v3),同时将 run_wer.py 中 load_en_model() 的 model_id 改为该本地路径。
run_wer.py 默认在 GPU 上运行(推荐使用GPU运行该脚本)。如无 GPU 设备,请使用 CPU 运行该脚本,并对 seed-tts-eval/run_wer.py 做以下 3 处修改:
import torch(用于指定模型 dtype)。device = "cuda:0" 改为 device = "cpu"。WhisperForConditionalGeneration.from_pretrained(model_id) 改为 WhisperForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.float32),避免 CPU 上 float16 卷积报错。cd /workspace/acc_eval/seed-tts-eval
pip install -r requirements.txt
pip install "jiwer<4" zhon注意:jiwer 4.0 移除了
compute_measuresAPI,seed-tts-eval 的run_wer.py使用旧 API,须降级到 3.x。
后续所有操作均在 workspace/acc_eval/ 目录下执行:
cd /workspace/acc_eval步骤 1:合成音频
遍历 meta.lst,对每条样本调用模型推理,将合成音频保存到 outputs/{utt}.wav:
python acc_test_infer.py --model-path /workspace/models/OmniVoice --data-dir seedtts_testset --out-dir outputs步骤 2:生成中间文件
将已合成的音频与 meta.lst 对齐,生成 seed-tts-eval 所需的 wav_ref_text.txt,每行格式为 {合成wav}|{prompt_wav}|{目标文本}:
python process_metadata.py --data-dir seedtts_testset --out-dir outputs步骤 3:计算 WER
依次执行 seed-tts-eval 的 WER 脚本:
# EN 分支,用 Whisper-large-v3 转录后算 WER,输出逐条结果到 wer_raw.txt
python seed-tts-eval/run_wer.py wav_ref_text.txt wer_raw.txt en
# 汇总平均 WER,输出到 wer_final.txt
python seed-tts-eval/average_wer.py wer_raw.txt wer_final.txtwer_final.txt 中即为最终的平均 WER 数值,越低表示合成内容越准确。
测试使用 seed-tts-eval 的英文测试集(1088 条),WER 计算在 CPU 上执行。测试结果如下:
| 项目 | WER |
|---|---|
| 本仓测试 | 1.84% |
| 官方数据 | 1.60% |