g
gcw_AVRCax4T/SenseVoiceSmall_hotword-onnx
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

SenseVoiceSmall Hotword ONNX - 昇腾 NPU 适配

模型简介

SenseVoiceSmall 是阿里巴巴 FunASR 团队推出的轻量级多语言语音识别模型，支持中文、英文、日文、韩文、粤语五种语言的语音识别，并内置热词（hotword）功能。

本仓库提供 SenseVoiceSmall_hotword-onnx 模型的 昇腾 NPU 适配 推理方案，基于 ONNX Runtime + CANNExecutionProvider 实现在华为昇腾 NPU 上的高性能推理，同时保证与 CPU/GPU 的精度一致性。

  • 原始模型: linlangleo/SenseVoiceSmall_hotword-onnx
  • 模型架构: SenseVoiceSmall Encoder (SANM Self-Attention) + CTC Decoder
  • 参数量: 约 80M
  • 输入: 16kHz 单声道音频
  • 输出: CTC Logits → 文本

硬件要求

项目规格
NPU华为 Ascend 910B / Atlas 800 A2
CANN8.5.1
Python3.11+
NPU 显存≥ 4GB (推荐 8GB)

环境准备

1. 安装依赖

pip install onnxruntime-cann modelscope numpy soundfile librosa

2. 下载模型

pip install modelscope
modelscope download --model linlangleo/SenseVoiceSmall_hotword-onnx

快速开始

CPU 推理 (ONNX Runtime)

python inference.py --backend cpu --audio your_audio.wav

NPU 推理 (CANNExecutionProvider)

python inference.py --backend npu --audio your_audio.wav

CPU vs NPU 对比评测

python evaluate.py --runs 10 --audio your_audio.wav

Python API 调用

import numpy as np
from inference import WavFrontend, SenseVoiceTokenizer, CTCDecoder, SenseVoiceONNX

# 初始化
frontend = WavFrontend("am.mvn")
tokenizer = SenseVoiceTokenizer("chn_jpn_yue_eng_ko_spectok.bpe.model", "tokens.json")
ctc_decoder = CTCDecoder()

# CPU 推理
cpu_model = SenseVoiceONNX("model.onnx", frontend, tokenizer, ctc_decoder, backend="cpu")
text, tokens, logits = cpu_model(audio)

# NPU 推理
npu_model = SenseVoiceONNX("model.onnx", frontend, tokenizer, ctc_decoder, backend="npu")
text, tokens, logits = npu_model(audio)

精度评测

评测环境

项目详情
日期2026-05-17
硬件Ascend 910B * 2 (Atlas 800 A2)
CANN8.5.1
torch_npu2.9.0.post1+gitee7ba04
onnxruntime-cann1.24.4
测试音频3.0s 正弦波 (440Hz, 16kHz)

精度对比 (CPU vs NPU)

指标数值判定
Max Abs Diff1.606-
Mean Abs Diff0.019-
Mean Rel Diff (Filtered)0.2405%✅
Cosine Similarity0.999879✅
Token Accuracy100% (54/54)✅
Text MatchTrue✅
Precision < 1%True✅

性能对比

指标CPUNPU加速比
Avg Latency0.6194s0.0176s35.12x
Std Latency0.102s0.001s-
Min Latency0.406s0.016s25.03x
Max Latency0.786s0.019s-

推理正确性验证

  • ✅ 文本输出完全一致: CPU 与 NPU 输出文本字符串完全匹配
  • ✅ Token 级精度 100%: 54/54 Token 预测完全一致
  • ✅ 余弦相似度 0.999879: Logit 输出方向高度一致
  • ✅ 平均相对误差 0.24%: 远低于 1% 精度要求

模型架构

Audio (16kHz) → Mel Spectrogram (80-dim) → LFR (7帧拼接, 步长6) → CMVN → 
SANM Encoder (50层, 4头注意力) → CTC Logits → Greedy Decode → SentencePiece → Text

关键参数

参数值
EncoderSenseVoiceEncoderSmall
注意力头数4
编码器层数50
隐层维度512
前馈网络维度2048
Mel 滤波数80
LFR (m, n)(7, 6)
采样率16000 Hz
语言支持zh, en, ja, ko, yue

文件说明

.
├── inference.py          # 推理脚本 (CPU + NPU)
├── evaluate.py            # 精度/性能评测脚本
├── README.md              # 部署文档
├── evaluation_results.json # 评测结果 (JSON)
├── evaluation_log_final.txt # 运行日志
├── model.onnx             # 主模型 (885MB)
├── sensevoice_model_hot_emb.onnx     # 热词嵌入模型
├── sensevoice_model_hot_module.onnx  # 热词模块
├── sensevoice_model_nohot_module.onnx # 无热词模块
├── am.mvn                 # CMVN 归一化参数
├── config.yaml            # 模型配置
├── configuration.json     # 框架配置
├── tokens.json            # 词表 (SentencePiece)
└── chn_jpn_yue_eng_ko_spectok.bpe.model  # BPE 分词模型

技术要点

NPU 适配方案

本模型通过 ONNX Runtime + CANNExecutionProvider 实现昇腾 NPU 适配:

  1. CANNExecutionProvider: 使用 onnxruntime-cann 1.24.4 提供的 CANN EP
  2. 动态形状支持: 支持可变长度的音频输入 (feats_length, logits_length 均为动态)
  3. FP16 混合精度: NPU 自动使用 FP16 进行推理，大幅提升性能
  4. 无需模型转换: 直接使用 ONNX 模型，无需 ATC 离线转换

精度保障

  • NPU 推理与 CPU 推理输出文本 完全一致
  • Logit 余弦相似度 ≥ 0.9998
  • Token 级预测准确率 100%
  • 平均相对误差 0.24% (远低于 1% 精度要求)

许可

  • 模型权重: Apache 2.0
  • 本仓库推理代码: Apache 2.0

引用

@misc{SenseVoiceSmall_hotword_npu,
  title={SenseVoiceSmall Hotword ONNX - Ascend NPU Adaptation},
  author={Model Agent},
  year={2026},
  url={https://modelscope.cn/models/linlangleo/SenseVoiceSmall_hotword-onnx}
}

🤖 Generated with Claude Code | Ascend NPU Adaptation