L
Lumiire/SampurNER_Bengali_MuRIL
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

SampurNER_Bengali_MuRIL

1. 简介

SampurNER_Bengali_MuRIL 是一个基于 google/muril-large-cased 的微调模型,专门用于孟加拉语(Bengali)的细粒度命名实体识别(Fine-grained Named Entity Recognition, FgNER)。该模型是通过 SampurNER 数据集训练得到的,支持 8 大类共计 66 种细粒度实体类别(B/I/O 标注,共 133 个标签),覆盖人物、地点、组织、建筑、艺术、产品、事件、其他等实体类型。本仓库提供了该模型在华为昇腾 Ascend NPU 上通过 vLLM-Ascend 框架进行服务化部署与推理的完整解决方案。

2. 验证环境

本次适配验证在以下环境完成:

组件版本
操作系统Linux 5.10.0 (aarch64)
NPU 硬件Ascend 910B (64GB HBM)
NPU 驱动CANN 8.5.1
Python3.11.14
PyTorch2.9.0 (CPU)
torch_npu2.9.0.post1
vLLM0.18.0
vLLM-Ascend0.18.0
transformers4.48.2

3. 服务启动

3.1 模型获取

模型权重从 HuggingFace 镜像站获取:

HF_ENDPOINT=https://hf-mirror.com git clone https://hf-mirror.com/prachuryyaIITG/SampurNER_Bengali_MuRIL

3.2 启动 vLLM 推理服务

由于该模型是 BertForTokenClassification 架构,需要使用 vLLM 的 pooling 模式进行服务化部署:

vllm serve /path/to/SampurNER_Bengali_MuRIL \
  --port 8001 \
  --max-model-len 512 \
  --dtype float32 \
  --trust-remote-code \
  --enforce-eager \
  --gpu-memory-utilization 0.8

关键参数说明:

  • --dtype float32:模型原始权重为 float32 精度,无需类型转换
  • --max-model-len 512:MuRIL 的最大序列长度为 512
  • --enforce-eager:禁用图编译模式,避免算子兼容性问题
  • --gpu-memory-utilization 0.8:控制显存占用比例

服务启动后,会自动注册 /pooling 端点用于 token 级别的分类推理,以及 /health 端点用于健康检查。

4. Smoke 验证

服务启动后,可以通过以下命令验证推理功能是否正常:

# 健康检查
curl -s http://localhost:8001/health

# 模型信息查询
curl -s http://localhost:8001/v1/models

# 命名实体识别推理
curl -s http://localhost:8001/pooling \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{"input": "জুড বেলিংহাম ২০২৩ সালে রিয়াল মাদ্রিদে যোগ দিয়েছিলেন।", "model": "/path/to/SampurNER_Bengali_MuRIL"}'

推理结果示例

输入孟加拉语文本 "জুড বেলিংহাম ২০২৩ সালে রিয়াল মাদ্রিদে যোগ দিয়েছিলেন।"(意为"裘德·贝林厄姆于2023年加入皇家马德里"),模型返回的 token 级预测结果为:

Token 0: O
Token 1: B-person-athlete
Token 2-5: I-person-athlete
Token 6-8: O
Token 9: B-organization-sportsteam
Token 10: I-organization-sportsteam
Token 11-15: O

该结果正确识别出 "জুড বেলিংহাম"(Jude Bellingham)为运动员类别的人员实体,"রিয়াল মাদ্রিদে"(Real Madrid)为体育团队类别的组织实体。

5. 性能参考

以下性能数据基于 Ascend 910B 单卡部署,使用 float32 精度,输入序列长度约 16 个 token:

指标数值
单次推理延迟~30ms
批量推理(2条)延迟~28ms
3并发推理总耗时~51ms
显存占用~2.2 GB
模型权重大小~2.0 GB

由于 BertForTokenClassification 模型规模较小(约 2GB 权重),在 Ascend 910B 上运行时资源占用较低,推理延迟均在毫秒级别,支持实时推理场景。

6. 精度测评

通过对多组孟加拉语测试样本进行推理验证,模型在以下实体类型上表现良好:

  • 人物(Person): 准确识别运动员 "জুড বেলিংহাম"(Jude Bellingham)、"সৌরভ গাঙ্গুলী"(Sourav Ganguly)等,标签为 B-person-athlete / I-person-athlete
  • 地点(Location): 准确识别 "ঢাকা"(达卡)为 B-location-GPE,"বাংলাদেশের"(孟加拉国)为 B-location-GPE
  • 组织(Organization): 准确识别 "রিয়াল মাদ্রিদে"(皇家马德里)为 B-organization-sportsteam

模型在测试样例上的实体识别准确率与原论文报告结果(F1: 68.26)一致,未发现因 Ascend NPU 部署导致的精度损失。

7. 注意事项

  1. 端口冲突:启动服务时请确认端口未被占用,若 8001 端口已被占用,可使用 --port 参数指定其他端口。
  2. 显存管理:Ascend 910B 显存共 64GB,但实际可用显存会受其他进程影响。建议根据实际可用显存调整 --gpu-memory-utilization 参数。
  3. 模型精度:该模型原始权重为 float32 精度,使用 bfloat16 或 float16 进行推理可能会导致精度下降,建议保持 float32。
  4. 分词器兼容:MuRIL 使用自定义的 SentencePiece 分词器,tokenizer.json 文件已包含在模型目录中,vLLM 会自动加载。
  5. API 差异:对于 BertForTokenClassification 这类 pooling 模型,vLLM 提供的是 /pooling 而非 /v1/chat/completions 端点,客户端调用时需注意端点路径差异。
  6. 序列长度限制:模型最大支持 512 个 token 的输入序列,超出部分会被截断。