Belle-whisper-large-v3-zh（昇腾NPU适配）

Belle-whisper-large-v3-zh是由BELLE团队基于Whisper large-v3模型进行微调得到的中文增强版模型。本仓库提供了该模型在华为昇腾硬件（Ascend 910B2）上推理的昇腾NPU适配方案。

验证状态：通过 | 编码器精度通过 | 解码器精度通过 | 端到端转录通过

模型信息

环境配置

快速开始

1. 下载模型

pip install modelscope
modelscope download --model Xorbits/Belle-whisper-large-v3-zh \
    --local_dir ./models/Belle-whisper-large-v3-zh \
    --exclude "pytorch_model.bin"

2. 安装依赖项

pip install torch torch_npu transformers librosa soundfile

3. 运行推理

# Single audio file transcription
python inference.py --audio /path/to/audio.wav

# Benchmark mode
python inference.py --benchmark --num-runs 50

4. 运行完整评估

python evaluate.py --num-runs 30 --warmup 5

性能基准测试

在Ascend 910B2上测试，FP32精度，单NPU（npu:0）。

固定长度音频（5秒合成音频）

可变长度音频扩展性

注：合成纯音音频产生的输出 tokens 极少。真实语音会根据音频内容成比例地产生更多 tokens。编码器运行时间约为 50ms（固定成本），解码器生成速度约为 10 tok/s。

精度验证

在相同输入下，将NPU（FP32）输出与CPU（FP32）参考输出进行比较。

编码器隐藏状态精度

解码器第一步 Logit 精度（独立测试）

端到端转录

总体结果：通过

三个验证阶段全部通过。编码器隐藏状态的余弦相似度>0.9998。解码器 logits 的余弦相似度>0.9999。端到端转录结果完全一致。

项目结构

Belle-whisper-large-v3-zh/
├── README.md                  # This document
├── inference.py               # NPU inference script (single audio / benchmark)
├── evaluate.py                # Precision & performance evaluation suite
├── eval_report.json           # Full evaluation results (JSON)
└── test_audio/                # Test audio generation script
    └── generate_test.py

架构详情

基于NPU的Whisper编码器-解码器流水线：

1. 音频预处理：梅尔频谱图提取（CPU）
2. 编码器：32层Transformer编码器（NPU）——约50ms固定成本
3. 解码器：带交叉注意力机制的32层Transformer解码器（NPU）——约10 tok/s
4. 令牌解码：采用强制中文解码器ID的贪婪/波束搜索

已知限制

1. 仅支持FP32；由于NPU的GELU差异，FP16可能导致精度下降。
2. 单音频推理（batch=1）；多音频批处理尚未优化。
3. 在单个NPU上，FP32模式下的内存占用约为6.5GB。
4. 中文转录需要强制解码器提示ID。

许可证

本模型适配基于ModelScope上的Xorbits/Belle-whisper-large-v3-zh。有关许可证条款，请参考原始模型。

标签

#NPU #Ascend #Whisper #ASR #Speech-Recognition #Hardware-NPU