c
colour_hand/data2vec-audio-base-960h
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Data2Vec-Audio ASR — 昇腾 NPU 适配

1. 简介

  • 模型: facebook/data2vec-audio-base-960h
  • 任务类型: 语音识别(CTC)
  • 框架: PyTorch(transformers 原生 Data2VecAudioForCTC)
  • 参数量: 95.000M
  • 来源厂商: Meta(Facebook)

2. 验证环境

组件版本
torch2.9.0
CANN8.5.1
transformers4.57.6
Python3.11.14
硬件Ascend 910B

3. 推理步骤

source /usr/local/Ascend/ascend-toolkit/set_env.sh
python3 inference.py

4. 测试样例及输出结果

============================================================
Data2Vec-Audio ASR  NPU  + CPU/NPU 精度对比
============================================================
| device   : npu:0  (x2)
| model    : Data2Vec-Audio ASR (95.000M params)
| input    : [2, 16000]  (2 条音频, 16000 samples)
| out shape: [2, 49, 32]  (logits, vocab=32)
| cosine   : 0.99985993
| rel_err  : 3.439%
| latency  : 8.46 ms
| result   : PASS ✅
============================================================

5. 性能参考

指标值
延迟8.46 ms(2 条 1s 音频)
Cosine Similarity0.99985993

6. 精度评测

指标值
Cosine Similarity0.99985993
相对误差3.439%

适配状态: PASS ✓

7. 注意事项

  1. 推理前需执行 source /usr/local/Ascend/ascend-toolkit/set_env.sh 设置 CANN 环境变量
  2. 模型权重存放于 /data/models/data2vec-audio-base-960h/,不要移动或修改
  3. transformers 原生 Data2VecAudioForCTC 直接加载(无需手写架构)
  4. 关键坑:
    • Data2Vec-Audio:自监督音频表征,95M 参数
    • 输入原始音频波形 [B, 16000]
    • rel_err 3.4% 但 cosine 0.99986 → cosine 判定(方法库规则)
  5. 首次在 NPU 上运行可能需要额外的编译时间(kernel 缓存)