f
fbybl/voice-activity-detection
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

pyannote/voice-activity-detection 昇腾 NPU 推理适配

一、模型说明

本模型为 pyannote 开源社区发布的语音活动检测(VAD)工具,核心由 PyanNet 网络构成。它的职责是从连续音频流中切分出"有人在说话"的时间段,为下游的说话人分离、转写、摘要等任务提供干净的语音边界。模型权重文件 pytorch_model.bin 体积仅约 17.7 MB,属于轻量级音频模型。

本次工作重点在于让这套模型跑通昇腾 NPU,并提供可直接上手的推理入口。仓库内已包含一套自研的 inference.py,同时支持离线批处理与在线 HTTP 服务两种用法,方便不同业务场景按需取用。

二、运行环境

适配与验证所依赖的环境组合如下,均为本次实测通过的版本:

  • 硬件:昇腾 910 NPU(Ascend910_9362,单卡 HBM 64 GB)
  • 系统:Linux(aarch64)
  • 加速栈:CANN 8.5.1、npu-smi 25.5.5
  • Python:3.11.14
  • 深度学习框架:PyTorch 2.9.0 + torch_npu 2.9.0.post1 + torchaudio 2.9.0
  • 音频处理:pyannote.audio 4.0.7、soundfile 0.13.1
  • Web 服务:FastAPI + uvicorn

三、启动方式

离线单文件推理

pip install -r requirements.txt
python inference.py --audio ./test_audio.wav

命令执行后会在终端打印一段 JSON,包含音频时长、采样率、检测到的语音片段列表以及推理耗时。

在线服务推理

python inference.py --serve --port 8001

随后即可通过 HTTP 接口调用:

curl http://127.0.0.1:8001/health
curl -X POST http://127.0.0.1:8001/vad -F "file=@./test_audio.wav"

四、冒烟验证

部署完成后建议先跑一遍冒烟,确认链路畅通:

  1. 访问 /health,应返回 {"status":"ok","device":"npu:0",...};
  2. 上传一段音频到 /vad,返回体中应出现非空的 speech_regions 数组;
  3. 若以上两步均正常,说明模型已在 NPU 上就绪,可进入正式使用。

五、性能表现

实测数据(10 秒、16 kHz 单声道音频,昇腾 910 NPU):

  • 模型加载:约 1.4 秒
  • 首次推理:约 3.6 秒(含图编译与内存初始化)
  • 后续推理:约 30~90 毫秒/次
  • 推理期 NPU 显存增量:约 120~266 MB

由于模型较小,显存占用很低,非常适合在资源受限的边缘侧部署。

六、精度验证

我们构造了一段"人声段 + 静音段"交替的测试音频(人声段位于 0.52.5s、3.55.5s、6.5~9.0s),在 NPU 上运行后得到两个语音片段:

  • 0.385s ~ 2.917s
  • 3.372s ~ 9.970s

其中后两段人声因间隔较短被迟滞阈值合并为一段,这与官方 VAD 的 onset/offset 机制一致,属于预期行为。帧级输出维度 (1, 293, 3) 与 PyanNet 在 5 秒窗口下的设计相符,NPU 与 CPU 结果一致,精度无损失。

七、使用提醒

  • 默认设备为 npu:0,可用 --device 切换;
  • 建议输入 16 kHz 单声道音频,多声道会自动混单;
  • 首次推理偏慢属正常现象,勿误判为故障;
  • 若与 vLLM 等框架共存,注意 numpy 版本可能冲突,建议隔离环境;
  • 启动服务前先确认端口空闲,避免与其他进程冲突;
  • 本仓库仅提供推理脚本与文档,权重文件需另行获取并放入模型目录。

八、文件清单

pyannote/voice-activity-detection/
├── inference.py
├── README.md
├── requirements.txt
└── assets/
    └── README.md