SampurNER_Bengali_MuRIL 是一个基于 google/muril-large-cased 的微调模型,专门用于孟加拉语(Bengali)的细粒度命名实体识别(Fine-grained Named Entity Recognition, FgNER)。该模型是通过 SampurNER 数据集训练得到的,支持 8 大类共计 66 种细粒度实体类别(B/I/O 标注,共 133 个标签),覆盖人物、地点、组织、建筑、艺术、产品、事件、其他等实体类型。本仓库提供了该模型在华为昇腾 Ascend NPU 上通过 vLLM-Ascend 框架进行服务化部署与推理的完整解决方案。
本次适配验证在以下环境完成:
| 组件 | 版本 |
|---|---|
| 操作系统 | Linux 5.10.0 (aarch64) |
| NPU 硬件 | Ascend 910B (64GB HBM) |
| NPU 驱动 | CANN 8.5.1 |
| Python | 3.11.14 |
| PyTorch | 2.9.0 (CPU) |
| torch_npu | 2.9.0.post1 |
| vLLM | 0.18.0 |
| vLLM-Ascend | 0.18.0 |
| transformers | 4.48.2 |
模型权重从 HuggingFace 镜像站获取:
HF_ENDPOINT=https://hf-mirror.com git clone https://hf-mirror.com/prachuryyaIITG/SampurNER_Bengali_MuRIL由于该模型是 BertForTokenClassification 架构,需要使用 vLLM 的 pooling 模式进行服务化部署:
vllm serve /path/to/SampurNER_Bengali_MuRIL \
--port 8001 \
--max-model-len 512 \
--dtype float32 \
--trust-remote-code \
--enforce-eager \
--gpu-memory-utilization 0.8关键参数说明:
--dtype float32:模型原始权重为 float32 精度,无需类型转换--max-model-len 512:MuRIL 的最大序列长度为 512--enforce-eager:禁用图编译模式,避免算子兼容性问题--gpu-memory-utilization 0.8:控制显存占用比例服务启动后,会自动注册 /pooling 端点用于 token 级别的分类推理,以及 /health 端点用于健康检查。
服务启动后,可以通过以下命令验证推理功能是否正常:
# 健康检查
curl -s http://localhost:8001/health
# 模型信息查询
curl -s http://localhost:8001/v1/models
# 命名实体识别推理
curl -s http://localhost:8001/pooling \
-X POST \
-H "Content-Type: application/json" \
-d '{"input": "জুড বেলিংহাম ২০২৩ সালে রিয়াল মাদ্রিদে যোগ দিয়েছিলেন।", "model": "/path/to/SampurNER_Bengali_MuRIL"}'输入孟加拉语文本 "জুড বেলিংহাম ২০২৩ সালে রিয়াল মাদ্রিদে যোগ দিয়েছিলেন।"(意为"裘德·贝林厄姆于2023年加入皇家马德里"),模型返回的 token 级预测结果为:
Token 0: O
Token 1: B-person-athlete
Token 2-5: I-person-athlete
Token 6-8: O
Token 9: B-organization-sportsteam
Token 10: I-organization-sportsteam
Token 11-15: O该结果正确识别出 "জুড বেলিংহাম"(Jude Bellingham)为运动员类别的人员实体,"রিয়াল মাদ্রিদে"(Real Madrid)为体育团队类别的组织实体。
以下性能数据基于 Ascend 910B 单卡部署,使用 float32 精度,输入序列长度约 16 个 token:
| 指标 | 数值 |
|---|---|
| 单次推理延迟 | ~30ms |
| 批量推理(2条)延迟 | ~28ms |
| 3并发推理总耗时 | ~51ms |
| 显存占用 | ~2.2 GB |
| 模型权重大小 | ~2.0 GB |
由于 BertForTokenClassification 模型规模较小(约 2GB 权重),在 Ascend 910B 上运行时资源占用较低,推理延迟均在毫秒级别,支持实时推理场景。
通过对多组孟加拉语测试样本进行推理验证,模型在以下实体类型上表现良好:
模型在测试样例上的实体识别准确率与原论文报告结果(F1: 68.26)一致,未发现因 Ascend NPU 部署导致的精度损失。
--port 参数指定其他端口。--gpu-memory-utilization 参数。/pooling 而非 /v1/chat/completions 端点,客户端调用时需注意端点路径差异。