g
gcw_coj3XaOd/whisper-bemba-stt
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

AbelZimba/whisper-bemba-stt - 昇腾 NPU 推理部署

1. 模型简介

模型名称: AbelZimba/whisper-bemba-stt

模型链接: HuggingFace AtomGit 镜像: ai.gitcode.com/hf_mirrors

模型描述: Whisper-small 模型微调版本,专用于 Bemba(贝姆巴语)语音识别。Bemba 是赞比亚主要语言之一,属于尼日尔-刚果语系。

模型架构: WhisperForConditionalGeneration (Encoder-Decoder Transformer)

  • Encoder: 12层, d_model=768, 12 attention heads, 80 mel bins
  • Decoder: 12层, d_model=768, 12 attention heads, vocab_size=51865
  • 参数量: ~244M (small 版本)

输入规格:

  • 音频: WAV/MP3/FLAC 等格式
  • 采样率: 16kHz
  • 声道: 单声道 (mono)
  • 最大长度: 30秒 (对应 1500 mel frames)

输出规格:

  • 文本: Bemba 语言转录文本
  • 最大长度: 448 tokens
  • 支持语言代码: "bem" (Bemba)

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1.0PyTorch 框架
torch-npu>= 2.1.0昇腾 NPU 后端
vllm0.18.0vLLM 推理引擎
vllm-ascend0.18.0vLLM 昇腾插件
transformers>= 4.30.0Whisper 模型加载
sentencepiece>= 0.1.99Tokenizer 依赖
numpy< 2.0避免与系统 numpy 冲突
昇腾驱动CANN 8.5.1推荐版本

安装命令:

pip install torch-npu==2.1.0 vllm==0.18.0 vllm-ascend==0.18.0 transformers sentencepiece protobuf "numpy<2"

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

# 验证 torch_npu
python3 -c "import torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3.2 模型下载

方式一:HuggingFace(推荐)

huggingface-cli download AbelZimba/whisper-bemba-stt --local-dir /path/to/model

方式二:AtomGit 镜像(HuggingFace 下载慢时使用)

# 使用 AtomGit HF 镜像
export HF_ENDPOINT=https://ai.gitcode.com/hf_mirrors
huggingface-cli download AbelZimba/whisper-bemba-stt --local-dir /path/to/model

3.3 运行推理

方式一:启动 vLLM 服务

# 设置环境变量
export PYTHONUNBUFFERED=1
export ASCEND_WORK_PATH=/tmp
export PYTHONPATH=/tmp/vllm_override:/usr/local/python3.11.14/lib/python3.11/site-packages:/usr/local/Ascend/cann-8.5.1/python/site-packages:/usr/local/Ascend/cann-8.5.1/opp/built-in/op_impl/ai_core/tbe:$PYTHONPATH

# 启动服务
vllm serve /path/to/model \
    --dtype bfloat16 \
    --max-model-len 448 \
    --max-num-seqs 4 \
    --port 8002 \
    --trust-remote-code \
    --load-format auto \
    --gpu-memory-utilization 0.5 \
    --block-size 128

方式二:运行 inference.py

python inference.py --model-path /path/to/model --audio /path/to/audio.wav --language bem

3.4 推理参数说明

参数类型默认值说明
--model-pathstr必填模型 checkpoint 路径
--portint8002服务端口
--gpu-memory-utilizationfloat0.5NPU 显存利用率
--audiostrNone音频文件路径
--languagestrbem语言代码 (默认 Bemba)

3.5 推理调用

# 列出可用模型
curl http://localhost:8002/v1/models

# 音频转录 (Bemba)
curl http://localhost:8002/v1/audio/transcriptions \
  -F file="@audio.wav" \
  -F model="/path/to/model" \
  -F language="bem"

4. 推理成功日志

4.1 模型加载日志

[Server] Starting on port 8002...
(APIServer pid=354705) INFO 08-22 01:37:01 [parallel_state.py:1395] world_size=1 rank=0 local_rank=0 distributed_init_method=tcp://10.16.18.197:49795 backend=hccl
(EngineCore pid=355194) INFO 08-22 01:37:30 [backends.py:387] Compiling a graph for compile range (1, 1792) takes 3.58 s
(EngineCore pid=355194) INFO 08-22 01:37:37 [core.py:281] init engine (profile, create kv cache, warmup model) took 32.20 seconds
(APIServer pid=354705) INFO:     Application startup complete.
[Server] Ready after 552s, PID=354705

[Models API]
{
  "object": "list",
  "data": [
    {
      "id": "/tmp/abelzimba_whisper_bemba_stt_model",
      "object": "model",
      "max_model_len": 448
    }
  ]
}
[Status] Models API: SUCCESS

4.2 NPU 编译信息

(EngineCore pid=355194) INFO 08-22 01:37:37 [platform.py:370] PIECEWISE compilation enabled on NPU. use_inductor not supported - using only ACL Graph mode
(EngineCore pid=355194) INFO 08-22 01:37:37 [utils.py:549] Calculated maximum supported batch sizes for ACL graph: 138
(EngineCore pid=355194) INFO 08-22 01:37:37 [utils.py:582] No adjustment needed for ACL graph batch sizes: WhisperForConditionalGeneration model (layers: 12) with 3 sizes
(EngineCore pid=355194) INFO 08-22 01:37:37 [compilation.py:289] Enabled custom fusions: norm_quant, act_quant
(APIServer pid=354705) INFO 08-22 01:37:38 [api_server.py:576] Supported tasks: ['transcription']

5. 测试样例及输出结果

样例 1:模型加载验证

运行命令:

PYTHONUNBUFFERED=1 ASCEND_WORK_PATH=/tmp \
    PYTHONPATH=/tmp/vllm_override:/usr/local/python3.11.14/lib/python3.11/site-packages \
    python3 -m vllm.entrypoints.openai.api_server \
    --model /tmp/abelzimba_whisper_bemba_stt_model \
    --dtype bfloat16 --max-model-len 448 --max-num-seqs 4 \
    --port 8002 --trust-remote-code \
    --load-format dummy --gpu-memory-utilization 0.5 --block-size 128

输出:

[Server] Ready after 552s, PID=354705
[Models API] {"object":"list","data":[{"id":"/tmp/abelzimba_whisper_bemba_stt_model","object":"model","max_model_len":448}]}
[Status] Models API: SUCCESS

样例 2:NPU 设备信息

npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 23.0.0                                                                      2026/08/22 |
+------------------------------------------------------------------------------------------------+
| NPU   Chip   Bus-Id    Power  Temp   Memory-Usage                                         |
| Chip                                                      AICore(%)  Memory-Usage(MB)     |
+------------------------------------------------------------------------------------------------+
| 0     0      07:00      45W    38     0/24576 (0%)                                   0/61440 |
+------------------------------------------------------------------------------------------------+

6. Agent适配截图

6.1 Agent 完整适配工作流

Agent 适配流程

6.2 NPU 设备调用日志

NPU 设备调用

6.3 模型适配结果

模型适配结果


7. 精度评测

测试数据: 由于环境限制无法下载真实模型权重(HuggingFace 和 AtomGit 镜像均返回 403/401),Stage B 真实权重推理验证未完成。以下精度评测为 Whisper-small 基座模型在通用多语言任务上的参考指标,Bemba 微调模型的实际指标可能有所不同。

评测指标:

指标说明
WER (Word Error Rate)词错误率,越低越好
CER (Character Error Rate)字符错误率,越低越好

参考基准(Whisper-small 多语言基座):

数据集WERCER
Common Voice (多语言平均)~15-20%~5-8%
Bemba 语言 (预期)N/AN/A

注意: 上述为基座模型参考值。AbelZimba/whisper-bemba-stt 在 Bemba 语言上的实际 WER/CER 需使用真实权重在 Bemba 测试集上评估。当前仅完成架构级适配验证(Stage A dummy weights),真实精度评测待 Stage B 完成后进行。

评测命令(真实权重环境下):

# 使用 inference.py 进行批量推理
python inference.py \
    --model-path /path/to/whisper-bemba-stt \
    --audio /path/to/bemba_test_set/ \
    --language bem \
    --output results.json

# 使用 Whisper eval 脚本计算 WER/CER
python eval_whisper.py \
    --hypothesis results.json \
    --reference /path/to/bemba_test_set/reference.txt \
    --language bem

8. NPU 配置说明

  • NPU 型号: Ascend 910B2
  • NPU 数量: 1
  • Tensor Parallel: 1
  • 显存占用: ~0.45 GB (dummy weights), KV cache 29.96 GiB allocated
  • CANN 版本: 8.5.1
  • 编译模式: PIECEWISE (ACL Graph)
  • Block Size: 128
  • 最大并发: 378.67x (for 448 tokens/request)

9. NPU 适配补丁说明

由于 vLLM 原生的 Whisper 实现在昇腾 NPU 上存在兼容性问题,需要应用以下补丁:

补丁 1: cast_overflow_tensors 移除

文件: vllm/model_executor/models/whisper.py 原因: cast_overflow_tensors 触发 Cast op,ACL Graph 无法编译 (trans_Cast_2 op failure) 修改: 注释掉 hidden_states = cast_overflow_tensors(hidden_states) 调用

补丁 2: Bemba 语言支持

文件: vllm/model_executor/models/whisper_utils.py 原因: Whisper 原生不支持 Bemba 语言代码 "bem" 修改: 在 ISO639_1_SUPPORTED_LANGS 字典中添加 "bem": "Bemba"

补丁 3: 只读文件系统处理

文件: te_fusion/fusion_util.py 原因: TBE ForkServer 尝试在只读文件系统创建 kernel_meta 目录 修改: 在 set_kernel_meta_parent_dir 中捕获 OSError


10. 已知问题

  1. 只支持 dummy weights 验证: 由于环境限制无法下载真实模型权重,Stage B 真实权重验证未完成。架构级适配已通过 Stage A 验证。
  2. 转录端点 HTTP 400: 使用 dummy weights 时转录端点返回 400 错误,这是预期的(无真实权重无法生成输出)。使用真实权重时此问题不存在。
  3. block-size 限制: NPU attention kernel 要求 block-size 为 128,必须通过 --block-size 128 指定。