g
gyccc/iic-speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline-NPU
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

iic/speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline 在昇腾 NPU 上的部署

模型信息

  • 模型名称:iic/speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline
  • 任务类型:语音自动识别
  • 模型架构:UniASR(FunASR,双阶段离线)
  • 来源:ModelScope(阿里巴巴达摩院)
  • 输入音频:16kHz 单声道 WAV
  • 输出:中文语音识别文本

验证环境

  • 硬件:昇腾 910(Ascend910_9362)
  • CANN:8.5.1
  • Python:3.11.14
  • PyTorch:2.9.0+cpu
  • torch_npu:2.9.0.post1+gitee7ba04
  • funasr:1.3.1

ModelScope 下载说明

pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('iic/speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline')"

音频预处理说明

输入音频格式:16kHz,单声道,WAV

使用 model_utils.load_wav() 加载音频,支持 torchaudio/soundfile/wave 三层 fallback。

NPU 推理命令

pip install -r requirements.txt
python inference.py

NPU 推理输出

Model: iic/speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline
Audio: assets/test.wav
NPU transcription: 欢迎大家来体验达摩院推出的语音识别模型

日志保存在 logs/inference.log。

CPU-NPU 精度一致性结果

指标数值
max_abs_error0.023046
mean_abs_error0.000784
relative_error0.0170%
cosine_similarity1.000000
threshold1.0%
结果PASS

CPU-NPU 相对误差为 0.0170%,远低于 1.0% 阈值,精度一致性验证通过。

Benchmark 结果

指标数值
平均延迟1652.08 ms
最小延迟1613.83 ms
最大延迟1791.25 ms
P501639.75 ms
P901682.72 ms
P951736.99 ms
音频时长5.55 s
RTF0.2978

工程结构

.
├── assets/
│   └── test.wav
├── logs/
│   ├── inference.log
│   ├── eval_consistency.log
│   └── benchmark.log
├── screenshots/
│   ├── self_verification.txt
│   └── self_verification.png
├── model_utils.py
├── inference.py
├── eval_consistency.py
├── benchmark.py
├── requirements.txt
├── .gitignore
└── README.md

运行说明

  1. 安装依赖:pip install -r requirements.txt
  2. 运行推理:python inference.py
  3. 运行一致性验证:python eval_consistency.py
  4. 运行性能测试:python benchmark.py

标签

#NPU #Ascend #ASR #UniASR #FunASR #SpeechRecognition