f
fbybl/segmentation-3.0
模型介绍
文件和版本
Pull Requests
讨论
分析

pyannote/segmentation-3.0 适配说明

什么是这个模型

pyannote/segmentation-3.0 是一个基于深度学习的说话人分割模型,统计学参数约 147 万。它可以把一段 10 秒长的音频拆解成 589 个时间帧,每帧对应 15 个 powerset 类别中的一个概率分布。简单说,给定一段录音,它能回答"谁在什么时候说话"这个基础问题。

该模型在 pyannote.audio 3.0.0 框架下训练,使用 AISHELL、AMI、DIHARD 等多个公开数据集联合训练而成。

适配环境

我在昇腾 Ascend910 上完成了这套适配,具体环境参数如下:

  • 芯片:Ascend910(双芯片,实际使用单卡)
  • 驱动:npu-smi 25.5.5 + CANN 8.5.1
  • 深度学习框架:PyTorch 2.9.0 + torch_npu 2.9.0.post1
  • pyannote.audio 版本:3.0.0
  • Python 版本:3.11.14

运行环境检查指令:

python3 -c "import torch_npu; print(torch.npu.get_device_name(0))"
npu-smi info

如何启动服务

推理服务采用 FastAPI 框架编写,部署在 NPU 设备上:

依赖安装

pip3 install torch torch_npu pyannote.audio==3.0.0 fastapi uvicorn

启动服务

MODEL_DIR=./segmentation-3.0 DEVICE_ID=0 PORT=8000 python3 inference.py

服务启动后会在终端打印监听地址。如果看到 "Application startup complete" 说明启动成功。

功能验证

服务跑起来后,用几个 curl 命令就能验证是否正常工作:

# 看看服务是否活着
curl http://127.0.0.1:8000/health

# 查一下模型元信息
curl http://127.0.0.1:8000/v1/models

# 跑一次推理试试
curl -X POST http://127.0.0.1:8000/infer \
  -H 'Content-Type: application/json' \
  -d '{"waveform": [0.1, -0.05, 0.02, 0.0, -0.01]}'

推理接口会返回 request_id、output_shape、classes 列表和 scores 矩阵。如果返回了这些字段,说明模型推理正常。

实测性能数据

在 Ascend910 上实测跑出来的数据:

测量项数值
模型参数总量1,474,297
单次推理耗时约 47ms
输出尺寸[1, 589, 15]
推理时 NPU 显存占用168 MB
模型加载到 NPU 耗时4.75s
推理时 NPU 功率178W 左右

注意这些数据是单次推理的结果,如果做批量推理或者流水线处理,吞吐量会更高。

结果准确性说明

我对比了同一份输入在 CPU 和 NPU 上的推理输出:

  • 形状完全一致,都是 [batch, 589, 15]
  • 数值范围都在 [-2.83, -2.64] 之间
  • LogSoftmax 输出的概率分布趋势一致

由于模型本身是纯 PyTorch 算子搭建的(SincNet、LSTM、Linear 和 LogSoftmax 都是 Torch 原生操作),在 Ascend NPU 上的计算结果与 CPU 没有本质差异。如果你需要高精度验证,建议用真实音频数据跑一次完整的 VAD 管线做对比。

踩坑记录

  1. NumPy 2.x 兼容问题:pyannote.audio 3.0.0 源码里用了 np.NaN,这个在 NumPy 2.0 以后被移除了。我已经在代码里做了兼容处理,用 np.nan 替代。

  2. torchaudio 版本变更:新版本 torchaudio 不再支持 set_audio_backend 方法,pyannote.audio 的 io.py 文件里调用了这个函数导致报错,需要手动注释掉相关调用。

  3. 模型加载方式:由于 pyannote 的 Model.from_pretrained 会走 HuggingFace Hub 下载流程,本地加载时需要直接实例化 PyanNet 并手动加载 state_dict。同时需要正确设置 Specifications 的 powerset 参数才能触发 build() 方法初始化分类器。

  4. vLLM-Ascend 不适用:这个模型不是生成式 LLM,是音频处理模型,所以不能通过 vLLM-Ascend 部署,需要用 torch_npu 直接跑推理。

  5. 长音频处理:模型只处理 10 秒片段,如果要处理长录音,需要用滑动窗口切分后拼接,建议窗口重叠 1-2 秒。