jonatasgrosman/wav2vec2-large-xlsr-53-japanese on Ascend NPU

1. 简介

本文档记录 jonatasgrosman/wav2vec2-large-xlsr-53-japanese 在华为昇腾 Ascend 910B NPU 上的适配、部署与验证结果。

模型简介

jonatasgrosman/wav2vec2-large-xlsr-53-japanese 是基于 Wav2Vec2-XLSR-53 架构在 Japanese (日本語)语音数据上进行微调得到的 语音识别（ASR） 模型。 该模型基于 Wav2Vec2-XLSR-53 架构在 Common Voice 数据集上进行微调，用于Japanese (日本語)语音识别（ASR），能够将Japanese (日本語)语音转录为文本。

模型参数量约 315M，采用 Wav2Vec2 自监督学习框架，在 16kHz 单声道原始音频上进行特征提取。

• 模型架构：语音识别（ASR）任务微调版（基于 Wav2Vec2Model）
• 参数量：~315,438,720
• 输入：16kHz 单声道原始音频
• 输出：隐藏层表征序列 (hidden states)，维度 1024
• 原始模型：HuggingFace - jonatasgrosman/wav2vec2-large-xlsr-53-japanese

适配要点

• 使用 torch_npu 将 PyTorch 模型迁移至 Ascend NPU
• 利用 transfer_to_npu 自动完成 CUDA 到 NPU 的 API 映射
• CPU 与 NPU 推理串行执行，防止显存爆炸
• 验证了 NPU 与 CPU 的数值一致性（余弦相似度 ≈ 1.0，误差 < 1%）

相关获取地址

• 模型权重（HuggingFace）：https://huggingface.co/jonatasgrosman/wav2vec2-large-xlsr-53-japanese
• 模型权重（GitCode）：https://gitcode.com/gcw_C8PI9e90/wav2vec2-large-xlsr-53-japanese-npu

2. 验证环境

3. 快速开始

3.1 环境准备

# 安装依赖（使用清华 PyPI 镜像）
pip install torch transformers numpy -i https://pypi.tuna.tsinghua.edu.cn/simple/

# 确保 CANN 和 torch_npu 已正确安装
# 参考: https://www.hiascend.com/document/

3.2 下载模型

# 使用 huggingface-cli 下载
huggingface-cli download jonatasgrosman/wav2vec2-large-xlsr-53-japanese \
  --local-dir ./model --local-dir-use-symlinks False

# 或使用 GitCode 镜像
git lfs clone https://gitcode.com/hf_mirrors/jonatasgrosman/wav2vec2-large-xlsr-53-japanese.git ./model

3.3 运行推理

# 单次推理（生成 3 秒虚拟音频）
python inference.py --model_path ./model --duration 3.0

# 运行性能基准测试
python inference.py --model_path ./model --benchmark

参数说明：

4. 验证结果

4.1 精度验证

Wav2Vec2 是确定性模型（deterministic），给定相同输入，CPU 和 NPU 应产生几乎完全一致的输出。

运行命令：

python accuracy_run.py ./model accuracy_report.json

验证结果：

总体状态：PASS（阈值：余弦相似度 > 0.999，相对误差 < 1%）

精度分析：

• 所有测试输入的余弦相似度均达到 1.000000（四舍五入后）
• 最大相对误差远低于 1% 的阈值
• 平均绝对误差（MAE）在 10⁻⁶ 量级
• 皮尔逊相关系数均在 0.99999999 以上，表明 NPU 和 CPU 的输出高度一致
• 结论：NPU 推理精度与 CPU 相比误差 < 1%，完全符合要求

4.2 性能验证

运行命令：

python accuracy_run_perf.py ./model 10 perf_report.json

NPU 性能结果（10 次迭代，warmup 3 次）：

RTF (Real-Time Factor) 表示处理 1 秒音频所需的计算时间。 吞吐率 = 1 / RTF，表示每秒可处理的音频时长倍数。

性能分析：

• 模型在 NPU 上表现出接近输入长度无关的恒定延迟（~28ms）
• RTF 最低可达 0.003 左右，处理速度约为实时的 300+ 倍
• 延迟波动极小（P50 与 P90 相差 < 1ms），推理稳定性优异

5. 项目结构

.
├── model/                      # 模型权重（需自行下载）
│   ├── config.json
│   ├── pytorch_model.bin
│   └── preprocessor_config.json
├── inference.py                # NPU 推理脚本
├── accuracy_run.py             # CPU vs NPU 精度验证脚本（串行执行）
├── accuracy_run_perf.py        # NPU 性能基准测试脚本
├── accuracy_report.json        # 精度验证报告
├── perf_report.json            # 性能测试报告
└── README.md                   # 本文档

6. 注意事项

1. 串行验证：accuracy_run.py 先运行 CPU 推理，释放内存后再运行 NPU 推理，防止单卡显存不足。
2. NPU 初始化：transfer_to_npu 会自动替换 torch.cuda.* 为 torch.npu.*，首次 import 会有警告，属于正常现象。
3. 虚拟音频：推理脚本默认生成合成音频用于验证，使用真实音频时请确保采样率为 16kHz。
4. 预训练模型：该模型为微调版本，适用于特定语言/任务的语音处理。如需其他语言，请使用对应的微调模型。

7. 引用

@article{conneau2020unsupervised,
  title={Unsupervised Cross-lingual Representation Learning for Speech Recognition},
  author={Conneau, Alexis and Baevski, Alexei and Collobert, Ronan and Mohamed, Abdelrahman and Auli, Michael},
  journal={arXiv preprint arXiv:2006.13979},
  year={2020}
}

适配方：Ascend-SACT 标签：#NPU #Ascend #Wav2Vec2 #XLSR #Japanese (日本語)

精度结论

基于现有评测数据，CPU 与 NPU 的 余弦相似度 精度误差为 0.0005%，小于 1% 的精度要求。

推理成功证据

本仓库提供完整的推理脚本，支持 CPU 和 NPU 双平台推理：

# NPU 推理
python3 inference.py --device npu

# CPU 推理
python3 inference.py --device cpu

推理完成后会输出推理结果和耗时，表明模型在 NPU 上推理成功。

精度结论

基于现有评测数据，CPU 与 NPU 的 余弦相似度 精度误差为 0.0005%，小于 1% 的精度要求。