c
colour_hand/bert-base-multilingual-uncased-sentiment
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

BERT 多语言情感分类 — 昇腾 NPU 适配

1. 简介

  • 模型: nlptown/bert-base-multilingual-uncased-sentiment
  • 任务类型: 多语言情感分类(1-5 星)
  • 框架: PyTorch(transformers 原生 BertForSequenceClassification)
  • 参数量: 167.360M
  • 来源厂商: NLP Town

2. 验证环境

组件版本
torch2.9.0
CANN8.5.1
transformers4.57.6
Python3.11.14
硬件Ascend 910B

3. 推理步骤

source /usr/local/Ascend/ascend-toolkit/set_env.sh
python3 inference.py

4. 测试样例及输出结果

============================================================
BERT 多语言情感分类  NPU  + CPU/NPU 精度对比
============================================================
| device   : npu:0  (x2)
| model    : BERT 多语言情感分类 (167.360M params)
| load     : 1.00s
| model    : BERT 多语言情感分类 (167.360M params)
| load     : 0.10s
| input    : [2, 32]  (2 条, L=32)
| out shape: [2, 5]
| 输出 (第 0 个样本, 前 5 维):
|   [0.2491 -0.0660 0.0783 -0.1729 -0.0641]
| cosine   : 0.99999553
| rel_err  : 0.679278%
| latency  : 8.10 ms
| result   : PASS ✅
============================================================

5. 性能参考

指标值
延迟8.10 ms(2 条 L=32 文本)
Cosine Similarity0.99999553

6. 精度评测

指标值
Cosine Similarity0.99999553
相对误差0.679278%

适配状态: PASS ✓

7. 注意事项

  1. 推理前需执行 source /usr/local/Ascend/ascend-toolkit/set_env.sh 设置 CANN 环境变量
  2. 模型权重存放于 /data/models/bert-base-multilingual-uncased-sentiment/,不要移动或修改
  3. transformers 原生 BertForSequenceClassification 直接加载(无需手写架构)
  4. 关键坑:
    • BERT-base 多语言(12 层 / hidden=768 / 12 头),167.4M 参数
    • 输入 input_ids [B,L],输出 logits [B,5](情感 1-5 星)
    • 权重 model.safetensors + pytorch_model.bin
  5. 首次在 NPU 上运行可能需要额外的编译时间(kernel 缓存)