2301_76761127/wav2vec2-large-xls-r-300m-sinhala-low-lr-part1-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1 — Ascend NPU 迁移版

  • 上游: https://huggingface.co/SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1
  • 架构: Wav2Vec2ForCTC(基座 facebook/wav2vec2-xls-r-300m 微调的僧伽罗语 CTC 语音识别模型), 参数量 315,520,720。
  • 权重: 本地 ~/models/SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1(预下载完成)。

inference.py 是唯一验收入口, 在昇腾 910B4(32G) 上以 npu:0 fp16 运行:

python3 inference.py                                  # 默认读取 ~/models/SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1
MODEL_PATH=~/models/SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1 python3 inference.py # 或显式指定权重目录

加载方式与输入格式

  • 原生加载: Wav2Vec2Processor(特征提取 + CTC tokenizer) + Wav2Vec2ForCTC.from_pretrained, 注意力用 attn_implementation="eager"。
  • 输入: 脚本内合成的确定性 16 kHz 类语音信号(5 次谐波多正弦叠加 + 2.7Hz 音节包络 + 轻噪声, seed=2111, 4.5s, 122Hz 基频), 经 processor 归一化得到 input_values (1, 72000)。
  • 输出: logits (1, 224, 80), argmax 取 token 后 processor.batch_decode 贪心解码为转写文本。
  • 全程 import torch_npu 并断言 torch.npu.is_available(), 无 CPU 回退; fp16 优先, 输出异常时自动回退 fp32。

实测结果(910B4, fp16)

  • 峰值显存 0.65 GiB, 单次前向 0.52s。
  • logits 帧数 224(≈4.5s 音频 / 20ms 步长), 数值有限、非退化(mean≈-2.5147, std≈2.5309)。
  • 合成输入的解码转写: ුතතතිතතයි —— 输入为合成冒烟信号而非真实僧伽罗语语音, 转写不代表真实识别效果。

NPU 适配要点

  • 首行 import torch_npu 注册 NPU 后端, 模型 .to("npu:0"), 输入张量同步搬运并转为与权重一致的 dtype。
  • 注意力强制 eager 实现, 规避部分 CANN/torch_npu 版本下 SDPA 算子兼容问题。
  • 910B4 32G HBM 显存宽裕, fp16 直接整模加载, 无需量化或 offload。

依赖: torch / torch_npu / transformers>=5.0 / numpy。验证截图见 assets/agent_workflow.png、assets/npu_device_call.png、assets/model_result.png。