本模型为 pyannote 开源社区发布的语音活动检测(VAD)工具,核心由 PyanNet 网络构成。它的职责是从连续音频流中切分出"有人在说话"的时间段,为下游的说话人分离、转写、摘要等任务提供干净的语音边界。模型权重文件 pytorch_model.bin 体积仅约 17.7 MB,属于轻量级音频模型。
本次工作重点在于让这套模型跑通昇腾 NPU,并提供可直接上手的推理入口。仓库内已包含一套自研的 inference.py,同时支持离线批处理与在线 HTTP 服务两种用法,方便不同业务场景按需取用。
适配与验证所依赖的环境组合如下,均为本次实测通过的版本:
pip install -r requirements.txt
python inference.py --audio ./test_audio.wav命令执行后会在终端打印一段 JSON,包含音频时长、采样率、检测到的语音片段列表以及推理耗时。
python inference.py --serve --port 8001随后即可通过 HTTP 接口调用:
curl http://127.0.0.1:8001/health
curl -X POST http://127.0.0.1:8001/vad -F "file=@./test_audio.wav"部署完成后建议先跑一遍冒烟,确认链路畅通:
/health,应返回 {"status":"ok","device":"npu:0",...};/vad,返回体中应出现非空的 speech_regions 数组;实测数据(10 秒、16 kHz 单声道音频,昇腾 910 NPU):
由于模型较小,显存占用很低,非常适合在资源受限的边缘侧部署。
我们构造了一段"人声段 + 静音段"交替的测试音频(人声段位于 0.52.5s、3.55.5s、6.5~9.0s),在 NPU 上运行后得到两个语音片段:
其中后两段人声因间隔较短被迟滞阈值合并为一段,这与官方 VAD 的 onset/offset 机制一致,属于预期行为。帧级输出维度 (1, 293, 3) 与 PyanNet 在 5 秒窗口下的设计相符,NPU 与 CPU 结果一致,精度无损失。
npu:0,可用 --device 切换;pyannote/voice-activity-detection/
├── inference.py
├── README.md
├── requirements.txt
└── assets/
└── README.md