2301_76761127/whisper-base-en-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Whisper-Base-En 昇腾 NPU 推理验证

模型简介

OpenAI Whisper base(英文版,约 74M 参数)是端到端语音识别模型,将 16kHz 语音的 log-mel 特征编码后由 Transformer 解码器自回归生成转写文本。

权重来源说明:官方 qualcomm/Whisper-Base-En 仓库已被 Qualcomm 废弃 (占位仓无权重,仅 README 指向 AI Hub),本交付使用同源官方权重 openai/whisper-base.en(同一 Whisper base English 模型)完成 NPU 验证。

环境

  • 硬件: 4× Ascend 910B4 (32G),本交付使用 npu:1
  • 软件: CANN 9.1.0 / torch 2.12 / torch_npu / transformers 5.15
  • 权重: ~/models/openai/whisper-base.en

运行方法

python3 inference.py
# 可用 MODEL_PATH / NPU_DEV / SEED 环境变量覆盖默认值

NPU 适配要点

  • 先 import torch_npu 并 torch.npu.set_device(npu:1),使显存统计口径对齐实际推理卡 (否则 torch.npu.max_memory_allocated() 默认统计 0 号卡,会误报 0)。
  • 精度 fp16;attn_implementation="eager" 规避 NPU 上 SDPA 兼容问题。
  • 无真实音频数据,输入为确定性合成 16kHz 波形(seed=42 的多正弦音调序列 + 指数包络 + 轻噪声),经 WhisperProcessor 提取 80 维 log-mel 后贪心 generate。

结果

  • 峰值显存: 0.21 GiB(torch.npu.max_memory_allocated())
  • 推理耗时: 0.89 s(单次 generate,max_new_tokens=64)
  • 输出: 1 个 token,转写 ' you'(合成音调序列的确定性输出)。

输出说明

  • 断言:log-mel 特征 finite、生成序列非空、转写为字符串。
  • assets/npu_result.json: 模型/权重来源/设备/峰值显存/耗时/转写摘要。
  • assets/*.png: 适配流程、设备调用、推理结果三张终端截图。