Y
YYPGD/segmentation-3.0
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

segmentation-3.0 昇腾NPU部署文档

1. 模型简介

模型名称: pyannote speaker segmentation 3.0(pyannote/segmentation-3.0) 模型链接: pyannote/segmentation-3.0 模型描述: pyannote 社区的端到端说话人分割(speaker segmentation)模型,是 pyannote/speaker-diarization-3.x 说话人日志流水线的核心组件。模型以 10 秒、16kHz 单声道原始波形为输入,逐帧预测"说话人组合"(powerset):空集(静音)、speaker#1/#2/#3 各自单独说话、任意两人重叠说话,共 7 类。一个模型同时完成语音活动检测(VAD)、重叠语音检测(OSD)与说话人计数,输出经后处理即可得到带时间戳的分段结果。权重遵循 MIT 许可。 模型架构: PyanNet(SincNet 参数化 sinc 滤波器组前端 + 4 层双向 LSTM(hidden=128) + 2 层前馈网络(128) + powerset 分类头),输出帧率约 58.9 帧/秒 参数规模: 约 1.47M


2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch / torch_npu2.1.0+本环境为 torch 2.7.1+cpu + torch_npu
numpy>= 1.21示例波形合成与后处理

安装命令:

pip install --target /mnt/workspace/segmentation-3.0/libs numpy

注意:不要在 libs 里安装 torch/torchvision/torchaudio/torch_npu,使用系统自带版本。


3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 设置模型专属依赖路径
export PYTHONPATH=/mnt/workspace/segmentation-3.0/libs:$PYTHONPATH

3.2 运行推理

python inference.py --model_path /home/developer/models/segmentation-3.0

脚本内置示例输入(自动合成一段"两名说话人交替+重叠说话"风格的谐波语音信号,无需外部音频文件),自动选择设备 npu > cuda > cpu;权重只从本地 --model_path 离线加载,全程不联网。输出每帧 7 类 powerset 概率,并解码为各说话人边缘激活占比与重叠语音占比,结果保存到 outputs/ 目录。

本推理脚本为纯 PyTorch 自包含实现:直接从 checkpoint 提取 state_dict 并按其内部超参离线重建 PyanNet 网络(SincNet 参数化滤波器组 + LSTM + FFN + LogSoftmax powerset 头),不依赖 pyannote.audio / torchaudio 包,已与官方实现在 CPU 上做过数值一致性比对(概率最大绝对误差 < 0.02,argmax 完全一致)。

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/segmentation-3.0本地模型权重目录(必传)
--durationfloat10.0示例音频时长(秒),训练窗口为 10s
--output_dirstroutputs概率矩阵与分段结果输出目录

4. 测试样例及输出结果

样例 1:内置示例波形(NPU)

输入:

python inference.py --model_path /home/developer/models/segmentation-3.0

输出:

[INFO] 设备类型: npu, device=npu:0
[INFO] 权重加载完成: /home/developer/models/segmentation-3.0/pytorch_model.bin (1473265 参数)
[INFO] 模型加载完成,加载耗时=3.37s
[INFO] 示例输入: 合成波形 10.0s @ 16000Hz float32, shape=(1, 1, 160000)
[INFO] 输出: frame数=589, 类别数=7 (powerset)
[INFO] 帧概率范围: [0.0000, 0.9961]
[INFO] 有效语音帧: 532/589 (90.3%)
[INFO] speaker#1 边缘激活占比: 0.032
[INFO] speaker#2 边缘激活占比: 0.525
[INFO] speaker#3 边缘激活占比: 0.490
[INFO] 重叠帧(len>=2): 63/589 (10.7%)
[INFO] 结果已保存到: outputs/
耗时/elapsed: 0.204 s

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果


6. 注意事项

  • 推理脚本通过 torch_npu 调用昇腾 NPU,所有输入张量为 float32(NPU 不支持 float64 算子);模型为原生 RNN/LSTM 结构,无 attention 模块
  • 完全离线:checkpoint pytorch_model.bin 只从本地 --model_path 加载,不联网下载任何文件;脚本内使用 stub Unpickler 读取 lightning checkpoint(跳过其中 pyannote 任务对象),只提取 state_dict 与超参
  • checkpoint 中滤波器组参数带 .filterbank. 前缀(asteroid_filterbanks Encoder 封装),脚本加载时自动重命名映射到等价实现
  • 输出为 7 维 powerset 的 log-softmax,脚本内部已转回概率并按 pyannote PowerSet 映射(空集 + 3 个单说话人 + 3 个双说话人组合)解码为各说话人边缘激活
  • 若 NPU 前向出现异常,脚本会自动回退 CPU 重试并打印 WARN,保证推理可用性
  • 权重不入库:*.bin 已被 .gitignore 排除;pytorch_model.bin 约 5.9MB,需预先放置于 /home/developer/models/segmentation-3.0/