c
zyzoe/vibevoice-asr
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

microsoft/VibeVoice-ASR 昇腾 NPU 适配

模型简介

VibeVoice-ASR(原始权重地址)是微软推出的统一语音转文本大模型(8.67B,Qwen2.5-7B 解码器 + 声学编码器),单遍可处理最长 60 分钟长音频,联合输出 谁(说话人)/ 何时(时间戳)/ 说了什么(转写) 的结构化 JSON 转写,支持定制热词与 50+ 语言。本次将其适配到华为昇腾 NPU 真实跑通推理。

验证环境

项值
NPUAscend910_9362(Atlas 800I A2,910B)
CANN8.5.1
torch / torch_npu2.9.0 / 与 CANN 8.5.1 配套
transformers4.57.6(vibevoice 官方代码库要求 >=4.51.3,<5.0.0)
推理引擎torch_npu(bf16)
模型代码github.com/microsoft/VibeVoice(vibevoice 包,trust_remote_code 路线)
注意力实现eager(规避昇腾 aclnnFlashAttentionScore 兼容问题)

环境依赖

见 requirements.txt。另需安装微软官方模型代码库:

pip install -e git+https://github.com/microsoft/VibeVoice.git#egg=vibevoice

文本 tokenizer 依赖 Qwen/Qwen2.5-7B 的 tokenizer 文件(首次运行自动经 HF 镜像下载,仅 tokenizer,不含权重)。

推理操作流程

# 1. 权重解析(默认经 hf-mirror snapshot_download,可用环境变量复用已下权重)
export VIBEVOICE_ASR_MODEL_DIR=/path/to/VibeVoice-ASR   # 可选
# 2. NPU 推理(仅支持 NPU)
python inference.py --device npu --warmup 5 --iters 20

inference.py 内部:snapshot_download 解析权重 → bf16 加载到 npu:0 → attn_implementation="eager" → 合成测试音频 → model.generate 贪心解码 → processor.post_process_transcription 解析结构化转写 → 结果写 /tmp/vibevoice_asr_npu_results.json。

测试用例与真实 NPU 输出

测试输入:合成音频(非真实语音)——基频 120–180Hz 扫频 + 5 次谐波 + 4Hz 音节包络 + 底噪,8.0 秒 @ 24kHz。

真机 NPU(npu:0)贪心解码输出(原文如实记录):

[{"Start": 0, "End": 8.0, "Speaker": 0, "Content": "Oh, oh, oh, oh, ...(~100 个 oh)"}]

加载正确性三道门禁:

  1. 权重完整性:from_pretrained(..., output_loading_info=True) → missing=0 / unexpected=0 / mismatched=0(8.67B 参数全部加载)。

  2. config 落地审计:原始 config.json 全部键与 VibeVoiceASRConfig 生效值逐一比对,无静默丢失/改写。

  3. 输入对照(随机输入对照):同模型在 npu:0 上对不同输入输出决定性变化——

    • 白噪声 8s → [{"Start":0,"End":8.0,"Content":"[Noise]"}]
    • 静音 8s → [{"Start":0,"End":8.0,"Content":"[Silence]"}]
    • 合成音节音 8s → Speaker 0 的 "Oh, oh, ..." 转写

    输出结构(说话人/精确到 8.0s 的时间戳/内容类别)随输入正确分化,证明权重加载正确、模型功能正常(随机初始化权重不可能产出合法 diarization JSON)。

说明:合成音不是真实语音,"Oh, oh..." 是模型对音节包络谐波音的如实转写,不作为 WER 精度结论,仅作为 NPU 端到端跑通与加载正确性的证据。

NPU 性能(8.0s 音频单遍转写,bf16,贪心解码,~249 生成 token)

指标值
预热5 次(首帧含算子编译)
正式迭代20 次
avg10.267 s
min9.116 s
p509.751 s
p9010.428 s
p9521.060 s(1 次毛刺,污染 max/avg,稳态以 p50/p90 为准)
max21.060 s
RTF(延迟/音频时长)1.283

模型加载(8 分片 bf16 → npu:0)53.3s;权重常驻 HBM ≈ 17.3 GB(8.67B × 2 bytes)。

截图

截图内容
assets/agent_workflow.png模型上卡流程(设备初始化 → 权重解析 → npu:0 加载,8.67B)
assets/npu_device_call.pngnpu-smi 实时占用 + torch_npu 设备断言
assets/model_result.png真机 NPU 推理输出与性能

#NPU