2301_76761127/wav2vec2-xlsr-khmer-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

gagan3012/wav2vec2-xlsr-khmer — Ascend NPU 迁移版

  • 上游: https://huggingface.co/gagan3012/wav2vec2-xlsr-khmer
  • 架构: Wav2Vec2ForCTC(基座 facebook/wav2vec2-large-xlsr-53 微调的高棉语 CTC 语音识别模型), 参数量 315,513,545。
  • 权重: 本地 ~/models/gagan3012/wav2vec2-xlsr-khmer(预下载完成)。

inference.py 是唯一验收入口, 在昇腾 910B4(32G) 上以 npu:0 fp32 运行:

python3 inference.py                                  # 默认读取 ~/models/gagan3012/wav2vec2-xlsr-khmer
MODEL_PATH=~/models/gagan3012/wav2vec2-xlsr-khmer python3 inference.py # 或显式指定权重目录

加载方式与输入格式

  • 原生加载: Wav2Vec2Processor(特征提取 + CTC tokenizer) + Wav2Vec2ForCTC.from_pretrained, 注意力用 attn_implementation="eager"。
  • 输入: 脚本内合成的确定性 16 kHz 类语音信号(5 次谐波多正弦叠加 + 3.5Hz 音节包络 + 轻噪声, seed=1202, 4.0s, 145Hz 基频), 经 processor 归一化得到 input_values (1, 64000)。
  • 输出: logits (1, 199, 73), argmax 取 token 后 processor.batch_decode 贪心解码为转写文本。
  • 全程 import torch_npu 并断言 torch.npu.is_available(), 无 CPU 回退; fp16 优先, 输出异常时自动回退 fp32。

实测结果(910B4, fp32)

  • 峰值显存 1.29 GiB, 单次前向 0.13s。
  • logits 帧数 199(≈4.0s 音频 / 20ms 步长), 数值有限、非退化(mean≈-2.4663, std≈2.5446)。
  • 合成输入的解码转写: សាសាស —— 输入为合成冒烟信号而非真实高棉语语音, 转写不代表真实识别效果。

NPU 适配要点

  • 首行 import torch_npu 注册 NPU 后端, 模型 .to("npu:0"), 输入张量同步搬运并转为与权重一致的 dtype。
  • 注意力强制 eager 实现, 规避部分 CANN/torch_npu 版本下 SDPA 算子兼容问题。
  • 910B4 32G HBM 显存宽裕, 整模直接加载; 本模型 fp16 激活溢出, 实测以 fp32 运行, 无需量化或 offload。

依赖: torch / torch_npu / transformers>=5.0 / numpy。验证截图见 assets/agent_workflow.png、assets/npu_device_call.png、assets/model_result.png。