模型名称: pyannote speaker segmentation 3.0(pyannote/segmentation-3.0) 模型链接: pyannote/segmentation-3.0 模型描述: pyannote 社区的端到端说话人分割(speaker segmentation)模型,是 pyannote/speaker-diarization-3.x 说话人日志流水线的核心组件。模型以 10 秒、16kHz 单声道原始波形为输入,逐帧预测"说话人组合"(powerset):空集(静音)、speaker#1/#2/#3 各自单独说话、任意两人重叠说话,共 7 类。一个模型同时完成语音活动检测(VAD)、重叠语音检测(OSD)与说话人计数,输出经后处理即可得到带时间戳的分段结果。权重遵循 MIT 许可。 模型架构: PyanNet(SincNet 参数化 sinc 滤波器组前端 + 4 层双向 LSTM(hidden=128) + 2 层前馈网络(128) + powerset 分类头),输出帧率约 58.9 帧/秒 参数规模: 约 1.47M
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch / torch_npu | 2.1.0+ | 本环境为 torch 2.7.1+cpu + torch_npu |
| numpy | >= 1.21 | 示例波形合成与后处理 |
安装命令:
pip install --target /mnt/workspace/segmentation-3.0/libs numpy注意:不要在 libs 里安装 torch/torchvision/torchaudio/torch_npu,使用系统自带版本。
# 检查 NPU 设备
npu-smi info
# 设置模型专属依赖路径
export PYTHONPATH=/mnt/workspace/segmentation-3.0/libs:$PYTHONPATHpython inference.py --model_path /home/developer/models/segmentation-3.0脚本内置示例输入(自动合成一段"两名说话人交替+重叠说话"风格的谐波语音信号,无需外部音频文件),自动选择设备 npu > cuda > cpu;权重只从本地 --model_path 离线加载,全程不联网。输出每帧 7 类 powerset 概率,并解码为各说话人边缘激活占比与重叠语音占比,结果保存到 outputs/ 目录。
本推理脚本为纯 PyTorch 自包含实现:直接从 checkpoint 提取 state_dict 并按其内部超参离线重建 PyanNet 网络(SincNet 参数化滤波器组 + LSTM + FFN + LogSoftmax powerset 头),不依赖 pyannote.audio / torchaudio 包,已与官方实现在 CPU 上做过数值一致性比对(概率最大绝对误差 < 0.02,argmax 完全一致)。
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model_path | str | /home/developer/models/segmentation-3.0 | 本地模型权重目录(必传) |
| --duration | float | 10.0 | 示例音频时长(秒),训练窗口为 10s |
| --output_dir | str | outputs | 概率矩阵与分段结果输出目录 |
输入:
python inference.py --model_path /home/developer/models/segmentation-3.0输出:
[INFO] 设备类型: npu, device=npu:0
[INFO] 权重加载完成: /home/developer/models/segmentation-3.0/pytorch_model.bin (1473265 参数)
[INFO] 模型加载完成,加载耗时=3.37s
[INFO] 示例输入: 合成波形 10.0s @ 16000Hz float32, shape=(1, 1, 160000)
[INFO] 输出: frame数=589, 类别数=7 (powerset)
[INFO] 帧概率范围: [0.0000, 0.9961]
[INFO] 有效语音帧: 532/589 (90.3%)
[INFO] speaker#1 边缘激活占比: 0.032
[INFO] speaker#2 边缘激活占比: 0.525
[INFO] speaker#3 边缘激活占比: 0.490
[INFO] 重叠帧(len>=2): 63/589 (10.7%)
[INFO] 结果已保存到: outputs/
耗时/elapsed: 0.204 s


pytorch_model.bin 只从本地 --model_path 加载,不联网下载任何文件;脚本内使用 stub Unpickler 读取 lightning checkpoint(跳过其中 pyannote 任务对象),只提取 state_dict 与超参.filterbank. 前缀(asteroid_filterbanks Encoder 封装),脚本加载时自动重命名映射到等价实现*.bin 已被 .gitignore 排除;pytorch_model.bin 约 5.9MB,需预先放置于 /home/developer/models/segmentation-3.0/