VibeVoice-ASR(原始权重地址)是微软推出的统一语音转文本大模型(8.67B,Qwen2.5-7B 解码器 + 声学编码器),单遍可处理最长 60 分钟长音频,联合输出 谁(说话人)/ 何时(时间戳)/ 说了什么(转写) 的结构化 JSON 转写,支持定制热词与 50+ 语言。本次将其适配到华为昇腾 NPU 真实跑通推理。
| 项 | 值 |
|---|---|
| NPU | Ascend910_9362(Atlas 800I A2,910B) |
| CANN | 8.5.1 |
| torch / torch_npu | 2.9.0 / 与 CANN 8.5.1 配套 |
| transformers | 4.57.6(vibevoice 官方代码库要求 >=4.51.3,<5.0.0) |
| 推理引擎 | torch_npu(bf16) |
| 模型代码 | github.com/microsoft/VibeVoice(vibevoice 包,trust_remote_code 路线) |
| 注意力实现 | eager(规避昇腾 aclnnFlashAttentionScore 兼容问题) |
见 requirements.txt。另需安装微软官方模型代码库:
pip install -e git+https://github.com/microsoft/VibeVoice.git#egg=vibevoice文本 tokenizer 依赖 Qwen/Qwen2.5-7B 的 tokenizer 文件(首次运行自动经 HF 镜像下载,仅 tokenizer,不含权重)。
# 1. 权重解析(默认经 hf-mirror snapshot_download,可用环境变量复用已下权重)
export VIBEVOICE_ASR_MODEL_DIR=/path/to/VibeVoice-ASR # 可选
# 2. NPU 推理(仅支持 NPU)
python inference.py --device npu --warmup 5 --iters 20inference.py 内部:snapshot_download 解析权重 → bf16 加载到 npu:0 → attn_implementation="eager" → 合成测试音频 → model.generate 贪心解码 → processor.post_process_transcription 解析结构化转写 → 结果写 /tmp/vibevoice_asr_npu_results.json。
测试输入:合成音频(非真实语音)——基频 120–180Hz 扫频 + 5 次谐波 + 4Hz 音节包络 + 底噪,8.0 秒 @ 24kHz。
真机 NPU(npu:0)贪心解码输出(原文如实记录):
[{"Start": 0, "End": 8.0, "Speaker": 0, "Content": "Oh, oh, oh, oh, ...(~100 个 oh)"}]加载正确性三道门禁:
权重完整性:from_pretrained(..., output_loading_info=True) → missing=0 / unexpected=0 / mismatched=0(8.67B 参数全部加载)。
config 落地审计:原始 config.json 全部键与 VibeVoiceASRConfig 生效值逐一比对,无静默丢失/改写。
输入对照(随机输入对照):同模型在 npu:0 上对不同输入输出决定性变化——
[{"Start":0,"End":8.0,"Content":"[Noise]"}][{"Start":0,"End":8.0,"Content":"[Silence]"}]Speaker 0 的 "Oh, oh, ..." 转写输出结构(说话人/精确到 8.0s 的时间戳/内容类别)随输入正确分化,证明权重加载正确、模型功能正常(随机初始化权重不可能产出合法 diarization JSON)。
说明:合成音不是真实语音,"Oh, oh..." 是模型对音节包络谐波音的如实转写,不作为 WER 精度结论,仅作为 NPU 端到端跑通与加载正确性的证据。
| 指标 | 值 |
|---|---|
| 预热 | 5 次(首帧含算子编译) |
| 正式迭代 | 20 次 |
| avg | 10.267 s |
| min | 9.116 s |
| p50 | 9.751 s |
| p90 | 10.428 s |
| p95 | 21.060 s(1 次毛刺,污染 max/avg,稳态以 p50/p90 为准) |
| max | 21.060 s |
| RTF(延迟/音频时长) | 1.283 |
模型加载(8 分片 bf16 → npu:0)53.3s;权重常驻 HBM ≈ 17.3 GB(8.67B × 2 bytes)。
| 截图 | 内容 |
|---|---|
assets/agent_workflow.png | 模型上卡流程(设备初始化 → 权重解析 → npu:0 加载,8.67B) |
assets/npu_device_call.png | npu-smi 实时占用 + torch_npu 设备断言 |
assets/model_result.png | 真机 NPU 推理输出与性能 |
#NPU