模型名称: AbelZimba/whisper-bemba-stt
模型链接: HuggingFace AtomGit 镜像: ai.gitcode.com/hf_mirrors
模型描述: Whisper-small 模型微调版本,专用于 Bemba(贝姆巴语)语音识别。Bemba 是赞比亚主要语言之一,属于尼日尔-刚果语系。
模型架构: WhisperForConditionalGeneration (Encoder-Decoder Transformer)
输入规格:
输出规格:
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch | >= 2.1.0 | PyTorch 框架 |
| torch-npu | >= 2.1.0 | 昇腾 NPU 后端 |
| vllm | 0.18.0 | vLLM 推理引擎 |
| vllm-ascend | 0.18.0 | vLLM 昇腾插件 |
| transformers | >= 4.30.0 | Whisper 模型加载 |
| sentencepiece | >= 0.1.99 | Tokenizer 依赖 |
| numpy | < 2.0 | 避免与系统 numpy 冲突 |
| 昇腾驱动 | CANN 8.5.1 | 推荐版本 |
安装命令:
pip install torch-npu==2.1.0 vllm==0.18.0 vllm-ascend==0.18.0 transformers sentencepiece protobuf "numpy<2"# 检查 NPU 设备
npu-smi info
# 验证 torch_npu
python3 -c "import torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(0))"方式一:HuggingFace(推荐)
huggingface-cli download AbelZimba/whisper-bemba-stt --local-dir /path/to/model方式二:AtomGit 镜像(HuggingFace 下载慢时使用)
# 使用 AtomGit HF 镜像
export HF_ENDPOINT=https://ai.gitcode.com/hf_mirrors
huggingface-cli download AbelZimba/whisper-bemba-stt --local-dir /path/to/model方式一:启动 vLLM 服务
# 设置环境变量
export PYTHONUNBUFFERED=1
export ASCEND_WORK_PATH=/tmp
export PYTHONPATH=/tmp/vllm_override:/usr/local/python3.11.14/lib/python3.11/site-packages:/usr/local/Ascend/cann-8.5.1/python/site-packages:/usr/local/Ascend/cann-8.5.1/opp/built-in/op_impl/ai_core/tbe:$PYTHONPATH
# 启动服务
vllm serve /path/to/model \
--dtype bfloat16 \
--max-model-len 448 \
--max-num-seqs 4 \
--port 8002 \
--trust-remote-code \
--load-format auto \
--gpu-memory-utilization 0.5 \
--block-size 128方式二:运行 inference.py
python inference.py --model-path /path/to/model --audio /path/to/audio.wav --language bem| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model-path | str | 必填 | 模型 checkpoint 路径 |
| --port | int | 8002 | 服务端口 |
| --gpu-memory-utilization | float | 0.5 | NPU 显存利用率 |
| --audio | str | None | 音频文件路径 |
| --language | str | bem | 语言代码 (默认 Bemba) |
# 列出可用模型
curl http://localhost:8002/v1/models
# 音频转录 (Bemba)
curl http://localhost:8002/v1/audio/transcriptions \
-F file="@audio.wav" \
-F model="/path/to/model" \
-F language="bem"[Server] Starting on port 8002...
(APIServer pid=354705) INFO 08-22 01:37:01 [parallel_state.py:1395] world_size=1 rank=0 local_rank=0 distributed_init_method=tcp://10.16.18.197:49795 backend=hccl
(EngineCore pid=355194) INFO 08-22 01:37:30 [backends.py:387] Compiling a graph for compile range (1, 1792) takes 3.58 s
(EngineCore pid=355194) INFO 08-22 01:37:37 [core.py:281] init engine (profile, create kv cache, warmup model) took 32.20 seconds
(APIServer pid=354705) INFO: Application startup complete.
[Server] Ready after 552s, PID=354705
[Models API]
{
"object": "list",
"data": [
{
"id": "/tmp/abelzimba_whisper_bemba_stt_model",
"object": "model",
"max_model_len": 448
}
]
}
[Status] Models API: SUCCESS(EngineCore pid=355194) INFO 08-22 01:37:37 [platform.py:370] PIECEWISE compilation enabled on NPU. use_inductor not supported - using only ACL Graph mode
(EngineCore pid=355194) INFO 08-22 01:37:37 [utils.py:549] Calculated maximum supported batch sizes for ACL graph: 138
(EngineCore pid=355194) INFO 08-22 01:37:37 [utils.py:582] No adjustment needed for ACL graph batch sizes: WhisperForConditionalGeneration model (layers: 12) with 3 sizes
(EngineCore pid=355194) INFO 08-22 01:37:37 [compilation.py:289] Enabled custom fusions: norm_quant, act_quant
(APIServer pid=354705) INFO 08-22 01:37:38 [api_server.py:576] Supported tasks: ['transcription']运行命令:
PYTHONUNBUFFERED=1 ASCEND_WORK_PATH=/tmp \
PYTHONPATH=/tmp/vllm_override:/usr/local/python3.11.14/lib/python3.11/site-packages \
python3 -m vllm.entrypoints.openai.api_server \
--model /tmp/abelzimba_whisper_bemba_stt_model \
--dtype bfloat16 --max-model-len 448 --max-num-seqs 4 \
--port 8002 --trust-remote-code \
--load-format dummy --gpu-memory-utilization 0.5 --block-size 128输出:
[Server] Ready after 552s, PID=354705
[Models API] {"object":"list","data":[{"id":"/tmp/abelzimba_whisper_bemba_stt_model","object":"model","max_model_len":448}]}
[Status] Models API: SUCCESSnpu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 23.0.0 2026/08/22 |
+------------------------------------------------------------------------------------------------+
| NPU Chip Bus-Id Power Temp Memory-Usage |
| Chip AICore(%) Memory-Usage(MB) |
+------------------------------------------------------------------------------------------------+
| 0 0 07:00 45W 38 0/24576 (0%) 0/61440 |
+------------------------------------------------------------------------------------------------+


测试数据: 由于环境限制无法下载真实模型权重(HuggingFace 和 AtomGit 镜像均返回 403/401),Stage B 真实权重推理验证未完成。以下精度评测为 Whisper-small 基座模型在通用多语言任务上的参考指标,Bemba 微调模型的实际指标可能有所不同。
评测指标:
| 指标 | 说明 |
|---|---|
| WER (Word Error Rate) | 词错误率,越低越好 |
| CER (Character Error Rate) | 字符错误率,越低越好 |
参考基准(Whisper-small 多语言基座):
| 数据集 | WER | CER |
|---|---|---|
| Common Voice (多语言平均) | ~15-20% | ~5-8% |
| Bemba 语言 (预期) | N/A | N/A |
注意: 上述为基座模型参考值。AbelZimba/whisper-bemba-stt 在 Bemba 语言上的实际 WER/CER 需使用真实权重在 Bemba 测试集上评估。当前仅完成架构级适配验证(Stage A dummy weights),真实精度评测待 Stage B 完成后进行。
评测命令(真实权重环境下):
# 使用 inference.py 进行批量推理
python inference.py \
--model-path /path/to/whisper-bemba-stt \
--audio /path/to/bemba_test_set/ \
--language bem \
--output results.json
# 使用 Whisper eval 脚本计算 WER/CER
python eval_whisper.py \
--hypothesis results.json \
--reference /path/to/bemba_test_set/reference.txt \
--language bem由于 vLLM 原生的 Whisper 实现在昇腾 NPU 上存在兼容性问题,需要应用以下补丁:
文件: vllm/model_executor/models/whisper.py
原因: cast_overflow_tensors 触发 Cast op,ACL Graph 无法编译 (trans_Cast_2 op failure)
修改: 注释掉 hidden_states = cast_overflow_tensors(hidden_states) 调用
文件: vllm/model_executor/models/whisper_utils.py
原因: Whisper 原生不支持 Bemba 语言代码 "bem"
修改: 在 ISO639_1_SUPPORTED_LANGS 字典中添加 "bem": "Bemba"
文件: te_fusion/fusion_util.py
原因: TBE ForkServer 尝试在只读文件系统创建 kernel_meta 目录
修改: 在 set_kernel_meta_parent_dir 中捕获 OSError
--block-size 128 指定。