Y
gcw_hhrLdMXW/w2v-xls-r-uk-npu-deployment
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Yehor/w2v-xls-r-uk 昇腾 NPU 部署文档

1. 模型简介

模型名称: w2v-xls-r-uk(Yehor/w2v-xls-r-uk)

模型链接:

  • Hugging Face: https://huggingface.co/Yehor/w2v-xls-r-uk
  • AtomGit: https://ai.gitcode.com/hf_mirrors/Yehor/w2v-xls-r-uk

模型描述: Wav2Vec2-XLS-R 微调的乌克兰语语音识别模型(ASR/CTC):Wav2Vec2ForCTC(hidden=1024, 24 层, vocab=40 西里尔字母),输入 16kHz 音频,CTC 解码输出文本。本部署在昇腾 NPU 上用合成音频完成语音转写全流程前向推理。

模型架构: Wav2Vec2(CNN 特征提取 7 层 + Transformer 24 层,hidden=1024,16 头)。

参数规模: 约 315.5M 参数。

适配引擎: 昇腾 torch_npu(标准 transformers 模型)。

2. 环境依赖

依赖项版本要求说明
Python>= 3.10(推荐 3.11)本机 3.11.14
CANN Toolkit8.0.RC2+本机 8.5.1
torch2.9.0+cpu本机
torch_npu2.9.0.post1昇腾 NPU 适配层
transformers4.57.6模型加载/推理

硬件: 昇腾 Ascend910_9362(64GB HBM ×2)。

3. 推理步骤

3.1 获取权重

# 方式一:推理脚本自动下载(推荐)
python3 inference.py --device npu:0

# 方式二:手动下载
mkdir -p model
for f in config.json model.safetensors preprocessor_config.json tokenizer_config.json vocab.json alphabet.json; do
  curl -sSL -o "model/$f" "https://hf-mirror.com/Yehor/w2v-xls-r-uk/resolve/main/$f"
done

3.2 检查 NPU 设备

npu-smi info
python3 -c "import torch, torch_npu; print(torch.npu.device_count())"   # 输出 2

3.3 运行推理

python3 inference.py --device npu:0 --dur 4.0 --warmup 1 --runs 2

4. 测试样例及输出结果

命令:

python3 inference.py --device npu:0 --dur 4.0 --warmup 1 --runs 2

输出(关键部分):

[模型加载] w2v-xls-r-uk 完成 (Wav2Vec2ForCTC), 参数量 315.5M, 设备 npu:0
  配置: hidden=1024, layers=24, vocab=40
[推理] 合成音频: 4.0s @ 16000Hz -> input_values [1, 64000]
  logits 形状: [1, 199, 40]
  转录文本: [PAD] (合成音频无语音, 合理)
  logits 范围: [-13.5804, 9.5997]
[性能基准] device=npu:0 warmup=1 runs=2
  平均推理时延 = 14.73 ms/条 (67.88 条/s)
  (wav2vec2-xls-r CTC 转写, 4.0s 音频)

结果分析: Wav2Vec2-XLS-R 在昇腾 NPU 上完成音频 CTC 转写,logits 输出形状正确([1,199,40]),解码正常,推理时延 14.73ms/条,验收通过。

5. 注意事项

  • 输入用 Wav2Vec2Processor(feature_extractor + tokenizer),音频 16kHz 单声道。
  • CTC 解码:logits.argmax(-1) + processor.batch_decode。
  • 合成音频(正弦波)用于验证前向;真实音频用 numpy float32 数组即可。
  • 首次前向算子编译需预热。