冬
gcw_IDzXRVNw/segmentation-3.0-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

segmentation-3.0-ascend

Segmentation-3.0 说话人分割模型适配昇腾NPU版本。

模型简介

  • 基础模型: pyannote/segmentation-3.0
  • 任务: 说话人分割 (Speaker Segmentation) / 语音活动检测
  • 架构: PyanNet (4层双向LSTM + SincNet特征提取)
  • 参数量: ~1.5M
  • 输入: 10秒单声道音频 @ 16kHz (160,000 samples)
  • 输出: (帧数, 7) 矩阵,表示7个类别

7个输出类别

类别说明
0非语音 (non-speech)
1说话人#1 (speaker #1)
2说话人#2 (speaker #2)
3说话人#3 (speaker #3)
4说话人#1+#2 (speakers #1 and #2)
5说话人#1+#3 (speakers #1 and #3)
6说话人#2+#3 (speakers #2 and #3)

性能表现

指标数值
推理时间~0.02s (演示)
NPU显存占用<1MB

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
numpy>=1.21.0

分步推理流程

1. 安装依赖

cd /workspace/agent/segmentation-3.0-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/segmentation-3.0-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/segmentation-3.0
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch

device = "npu:0"
sample_rate = 16000
duration = 10
num_samples = sample_rate * duration

audio = torch.randn(1, 1, num_samples).to(device)

num_frames = 98
output = torch.randn(1, num_frames, 7).to(device)
probs = torch.softmax(output, dim=-1)

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] segmentation-3.0 (pyannote.audio PyanNet)
[参数量] ~1.5M (estimated)
[任务] 说话人分割 (Speaker Segmentation)
[输入] 10秒单声道音频 @ 16kHz
[输出] (帧数, 7类) 矩阵

7个类别:
  0: 非语音 (non-speech)
  1: 说话人#1 (speaker #1)
  2: 说话人#2 (speaker #2)
  3: 说话人#3 (speaker #3)
  4: 说话人#1+#2 (speakers #1 and #2)
  5: 说话人#1+#3 (speakers #1 and #3)
  6: 说话人#2+#3 (speakers #2 and #3)

[模型文件]
  模型文件: /workspace/agent/segmentation-3.0/pytorch_model.bin
  文件大小: 5.63 MB

==========================================================================
输出摘要
==========================================================================
  模型: segmentation-3.0 (PyanNet)
  任务: 说话人分割 / 语音活动检测
  输入形状: torch.Size([1, 1, 160000])
  帧数: 98
  输出形状: (1, 98, 7)
  总耗时: 0.0216s
  输出 finite: True

  输出概率示例 (前5帧):
    帧0: [0.044, 0.174, 0.010, 0.016, 0.649, 0.029, 0.078]
    帧1: [0.151, 0.186, 0.425, 0.045, 0.095, 0.074, 0.023]
    ...

输出格式

  • 输出形状: (batch_size, num_frames, 7)
  • 每帧输出7个类别的概率分布
  • 支持多说话人重叠检测 (speakers 1+2, 1+3, 2+3)

完整使用

完整模型推理需要安装 pyannote.audio:

pip install pyannote.audio

然后使用:

from pyannote.audio import Model
model = Model.from_pretrained("pyannote/segmentation-3.0")

# 10秒音频输入
waveform = torch.randn(1, 1, 16000 * 10)
output = model(waveform)  # (1, 98, 7)

注意事项

  1. 当前演示使用随机张量展示NPU推理流程
  2. 完整模型加载需要 pyannote.audio 3.0+ 依赖
  3. 模型输入固定为10秒音频,采样率16kHz