xujiashuai/speech_eres2net_large_five_lre_8k
模型介绍文件和版本Pull Requests讨论分析

speech_eres2net_large_five_lre_8k - 昇腾 NPU 适配

1. 模型简介

基于 ERes2Net（增强型 Res2Net）大模型架构的五语言识别模型，支持粤语、英语、日语、韩语、中文五种语言的识别，输入为 8kHz 采样率音频。

  • 原始模型：iic/speech_eres2net_large_five_lre_8k
  • 框架：PyTorch
  • 任务：Language Recognition (5 languages)
  • Backbone：ERes2Net-Large (m_channels=64, embed_dim=512)

2. 昇腾 NPU 适配结果

指标值
嵌入余弦相似度1.000000
分类器余弦相似度1.000000
平均延迟13.84ms
输出维度512
推理精度float32
设备Ascend 910B4

3. 环境要求

组件版本
CANN8.5.1
torch_npu2.9.0.post1
PyTorch2.9.0
Python3.11
modelscopelatest

4. 快速使用

# 设置环境
export ASCEND_HOME_PATH=/usr/local/Ascend/cann
export LD_LIBRARY_PATH=/usr/local/Ascend/cann/lib64:$LD_LIBRARY_PATH

# 运行推理
python inference.py

# 运行精度验证
python evaluate.py

5. 推理输出证据

NPU 推理输出 (float32, 8kHz 音频):

Model: iic/speech_eres2net_large_five_lre_8k
Device: npu:0
Embedding shape: [1, 512]
Embedding sample: [-0.0015733233885839581, -0.0009446564363315701, -0.0008025005809031427, -0.0073548611253499985, -0.009050089865922928]
Predicted language: English (confidence: 0.9971)
Latency: 13.84ms

--- CPU vs NPU 精度对比 ---
Embedding Cosine Similarity: 1.000000
Classifier Cosine Similarity: 1.000000
Max Abs Error: 0.000442
CPU prediction: English
NPU prediction: English
Predictions match: True
SUCCESS

6. CPU 与 NPU 精度对比

指标CPU (float32)NPU (float32)误差
嵌入余弦相似度基准1.000000< 0.000001
分类器余弦相似度基准1.000000< 0.000001
最大绝对误差-0.000442-
输出维度512512一致
预测语言EnglishEnglish一致

7. 模型结构

  • 主干网络: 带 AFF（注意力特征融合）的 ERes2Net-Large
  • 输入: 80 维 fbank 特征 (8kHz)
  • 池化: TSTP（时间统计池化）
  • 嵌入: 512 维
  • 分类器: Linear(512, 5) → 5 种语言
  • 语言: Cantonese, English, Japanese, Korean, Chinese

8. 验证报告

详见 report.json。

下载使用量0