xujiashuai/timm-speech_conformer_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

speech_conformer_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch on Ascend NPU

1. 简介

本文档记录 speech_conformer_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch (Conformer ASR) 在昇腾 NPU 上的适配验证结果。

  • 模型来源: iic/speech_conformer_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch
  • 架构: Conformer Encoder (12层, d_model=256, n_head=4, d_ff=2048)
  • 任务: Automatic Speech Recognition (中文语音识别, AISHELL-2)
  • 适配状态: SUCCESS
  • 适配时间: 2026-05-17

2. 验证环境

组件版本
torch2.9.0
torch-npu2.9.0.post1
CANN8.5.1
  • NPU: Ascend 910B4
  • 系统: Linux aarch64

3. 推理脚本

python inference.py --device npu:0 --dtype float32

4. 推理输出证据

模型: speech_conformer_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch
设备: npu:0
精度: float32

--- CPU 推理 ---
输出形状: [1, 50, 256]
Logits 前5个: [-1.0125235   1.0749375  -3.595477    0.16479884 -0.27551863]
是否有 NaN: False

--- NPU 推理 (npu:0) ---
输出形状: [1, 50, 256]
Logits 前5个: [-1.0124391   1.0749807  -3.5954568   0.16477266 -0.2753874 ]
是否有 NaN: False

5. 性能参考

指标数值
平均延迟10.44 ms
测试轮数10

6. CPU vs NPU 精度对比

指标数值
Cosine Similarity1.000000
Max Abs Error0.000352
精度误差< 0.04%
是否满足要求是（< 1%）

7. 评测材料

材料文件说明
推理脚本inference.py独立可运行的 NPU 推理代码

8. 注意事项

  • 使用自定义 Conformer Encoder 实现，加载模型原始 encoder 权重
  • 输入: 随机 mel spectrogram (batch=1, time=200, feat=80)
  • 输出: Encoder 隐藏状态 (batch=1, time=50, d_model=256)
  • Encoder 通过 2 层 stride=2 的 Conv1d 下采样 4 倍 (200 -> 50)

贡献者: xujiashuai 参赛赛道: 模型适配赛道 提交时间: 2026-05-17