Ascend-SACT/OmniVoice
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

概述

OmniVoice 是 k2-fsa 发布的大规模多语言零样本文本到语音(TTS)模型。基于一种新颖的扩散语言模型架构,它能够生成高质量语音并具备卓越的推理速度,同时支持声音克隆和声音设计。

本文档介绍该模型在 Ascend 800I A2 单卡环境上的推理验证、性能测试和 Seed-TTS Eval 英文数据集精度测评流程。

推理环境准备

  • 该模型需要以下插件与驱动

表1 版本配套表

配套版本环境准备指导
固件与驱动25.5.0Pytorch框架推理环境准备
CANN8.5.1包含kernels包和toolkit包
Python3.11-
PyTorch2.9.0-
Ascend Extension PyTorch2.9.0-
vllm0.19.1-
vllm_ascend0.19.1rc1vllm, vllm-ascend安装和使用指导

说明:Atlas 800I A2 推理服务器和Atlas 800T A2 训练服务器请以CANN版本选择实际固件与驱动版本。

快速上手

0.获取vllm和vllm-ascend(以Docker安装为例)

docker pull quay.io/ascend/vllm-ascend:v0.19.1rc1
 
export IMAGE=quay.io/ascend/vllm-ascend:v0.19.1rc1
docker run -it \
    --name vllm-ascend-env \
    --shm-size=1g \
    --net=host \
    --privileged \
    --device /dev/davinci_manager \
    --device /dev/hisi_hdc \
    --device /dev/devmm_svm \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/sbin:/usr/local/sbin \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
    -v /home/:/home \
    -v /data:/data \
    $IMAGE bash

执行后直接进入容器,退出容器(exit)后容器不会被删除,仅停止运行。后续重新进入容器:

docker start -ai vllm-ascend-env

1.获取本仓源码

git clone https://gitcode.com/Ascend/ModelZoo-PyTorch.git
cd ModelZoo-PyTorch/ACL_PyTorch/built-in/audio/OmniVoice

注意:此刻的目录即为工作目录(下文以 workspace 代指该目录),后续进行推理测试时,需要重新进入该工作目录。

2. 获取 vllm-omni 源码并应用补丁

本仓对 vllm-omni 做了适配 NPU 的修改,修改以 patch 形式提供。 需要先克隆 vllm-omni 源码,切换到基准 commit,再打上补丁:

git clone https://github.com/vllm-project/vllm-omni.git
cd vllm-omni
 
# 切换到补丁对应的基准 commit
git checkout 7a342987
 
# 应用补丁
git apply -p1 /workspace/omniVoice_diff.patch
 
# 确认补丁已生效(应看到 3 个被修改的文件)
git status --short

3. 模型下载

后续的测试依赖模型文件,须提前下载以完成后续的测试。注意本文档中指定的模型下载目录为/workspace/models/OmniVoice。 OmniVoice地址

4. 安装依赖

cd /workspace
pip install -r requirements.txt

5. 模型推理

bash start_omni.sh

脚本内容说明:

# 预加载 jemalloc 内存分配器,提升多线程内存分配性能
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
# 启用 NPU Task Queue,降低算子下发开销
export TASK_QUEUE_ENABLE=1
# 启用 CPU 亲和性绑定,减少跨 NUMA 内存访问
export CPU_AFFINITY_CONF=1
 
# 绑核运行:-c 指定使用的 CPU 核(对应 NPU 0 卡的 NUMA 核范围)
# --model-path:模型权重路径
# --num-runs:正式推理次数
taskset -c 144-167 python test_omnivoice.py --model-path models/OmniVoice --num-runs 5

如需自定义,可直接修改脚本中的参数。

各参数说明:

参数说明默认值
--model-path模型权重路径models/OmniVoice
--num-runs正式推理次数10
--out-dir音频输出目录perf_outputs

注意,脚本里的 taskset -c 后的参数代表 NPU 卡对应的 NUMA 核,默认为 0 卡对应的核。如果用其他卡进行推理,可以用 npu-smi info -t topo 查询对应 NUMA 核,并修改。

6. 性能数据

经 5 次推理测试,计算出平均RTF(实时率),测试结果如下:

模型硬件平均 RTF
OmniVoice800I A20.1081

7. 精度测评

本仓基于 seed-tts-eval 对 OmniVoice 进行客观精度评测,计算 WER(Word Error Rate) 指标,衡量合成语音的内容正确率。

7.1 数据集下载

采用 seed-tts-eval 的英文测试集(1088 条)。测试集(约 1.24 GB)从 Google Drive 下载,解压后将 seedtts_testset/ 目录放到 workspace/acc_eval/ 下。

解压后目录结构:

workspace/acc_eval/
└── seedtts_testset/
    └── en/
        ├── meta.lst          # 1088 条 EN 测试
        ├── prompt-wavs/       # 1007 个 prompt 参考音频
        └── wavs/             # ground truth 音频

7.2 精度测评源码下载

精度测评依赖字节开源的 seed-tts-eval 仓库,提供 WER 打分脚本。在 workspace/acc_eval/ 下克隆:

cd /workspace/acc_eval
git clone https://github.com/BytedanceSpeech/seed-tts-eval.git

7.3 精度测评模型下载

精度评测脚本 run_wer.py 在上一步克隆的 seed-tts-eval 路径下。它需要先用 ASR 模型将合成音频转录为文本,再与目标文本比对计算 WER。在英文分支中,脚本使用 OpenAI 的 Whisper-large-v3 作为 ASR 模型,通过 from_pretrained(model_id) 加载权重。请从 ModelScope 下载权重,并放置于本地目录(如 /workspace/acc_eval/models/whisper-large-v3),同时将 run_wer.py 中 load_en_model() 的 model_id 改为该本地路径。

7.4 适配 CPU 运行(可选)

run_wer.py 默认在 GPU 上运行(推荐使用GPU运行该脚本)。如无 GPU 设备,请使用 CPU 运行该脚本,并对 seed-tts-eval/run_wer.py 做以下 3 处修改:

  1. 顶部新增 import torch(用于指定模型 dtype)。
  2. device = "cuda:0" 改为 device = "cpu"。
  3. WhisperForConditionalGeneration.from_pretrained(model_id) 改为 WhisperForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.float32),避免 CPU 上 float16 卷积报错。

7.5 依赖安装

cd /workspace/acc_eval/seed-tts-eval
pip install -r requirements.txt
pip install "jiwer<4" zhon

注意:jiwer 4.0 移除了 compute_measures API,seed-tts-eval 的 run_wer.py 使用旧 API,须降级到 3.x。

7.6 精度测评流程

后续所有操作均在 workspace/acc_eval/ 目录下执行:

cd /workspace/acc_eval

步骤 1:合成音频

遍历 meta.lst,对每条样本调用模型推理,将合成音频保存到 outputs/{utt}.wav:

python acc_test_infer.py --model-path /workspace/models/OmniVoice --data-dir seedtts_testset --out-dir outputs

步骤 2:生成中间文件

将已合成的音频与 meta.lst 对齐,生成 seed-tts-eval 所需的 wav_ref_text.txt,每行格式为 {合成wav}|{prompt_wav}|{目标文本}:

python process_metadata.py --data-dir seedtts_testset --out-dir outputs

步骤 3:计算 WER

依次执行 seed-tts-eval 的 WER 脚本:

# EN 分支,用 Whisper-large-v3 转录后算 WER,输出逐条结果到 wer_raw.txt
python seed-tts-eval/run_wer.py wav_ref_text.txt wer_raw.txt en
 
# 汇总平均 WER,输出到 wer_final.txt
python seed-tts-eval/average_wer.py wer_raw.txt wer_final.txt

wer_final.txt 中即为最终的平均 WER 数值,越低表示合成内容越准确。

7.7 精度测评结果

测试使用 seed-tts-eval 的英文测试集(1088 条),WER 计算在 CPU 上执行。测试结果如下:

项目WER
本仓测试1.84%
官方数据1.60%