凤
weixin_44093752/Pyannote-VAD-Ascend-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

pyannote/voice-activity-detection Ascend NPU 适配

本仓对应 pyannote/voice-activity-detection,并使用其配置引用的官方 pyannote/segmentation-3.0 PyanNet checkpoint 完成真实 Ascend910 NPU 推理。该 VAD 模型仓本身提供 pipeline 配置,实际可执行权重来自 pyannote/segmentation-3.0@e66f3d3b9eb0873085418a7b813d3b369bf160bb。

适配内容

  • 使用官方 pyannote.audio.Model 加载 checkpoint,跳过训练期配置注入,保留 checkpoint 内置 specifications。
  • 对 torchaudio 新旧 API 做最小兼容处理,不修改模型权重和算子逻辑。
  • 固定随机波形输入 float32 [1,1,32000],严格加载 pytorch_model.bin。
  • 运行时使用 Ascend CANN 环境中的 TBE Python 路径,确保 NPU 图编译可用。

真实验证结果

指标CPUNPU (Ascend910 npu:0)
模型加载0.1076 s0.0216 s
单次推理0.0999 s3.4426 s
输出 shape[1,115,7][1,115,7]
输出 dtypefloat32float32

CPU/NPU 对拍结果:余弦相似度 0.9999999866,最大绝对误差 0.001817465,平均绝对误差 0.000478307,precision_pass=true。NPU 设备探测确认 torch.npu.is_available()=true,模型和输入均运行在 npu:0。

证据

工作流

agent_workflow

NPU 设备调用

npu_device_call

模型推理结果

model_result

运行

模型目录需包含 pytorch_model.bin。在已加载 CANN 环境的 Ascend 容器内执行:

python3 inference.py --model-path /opt/atomgit/models/pyannote-seg --device cpu --out-dir outputs/cpu
python3 inference.py --model-path /opt/atomgit/models/pyannote-seg --device npu --out-dir outputs/npu

依赖:torch、numpy、pyannote.audio。pyannote/voice-activity-detection 页面为 gated 模型,访问授权只用于下载其公开配置及依赖的官方 segmentation 权重。