weixin_72661020/nlp_structbert_emotion-classification_chinese-base
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

nlp_structbert_emotion-classification_chinese-base on Ascend NPU

1. 简介

本模型是基于 StructBERT 的中文情感分类模型,能够对中文文本进行 7 类情感分类:恐惧、愤怒、厌恶、喜好、悲伤、高兴、惊讶。本仓库提供了在华为昇腾 Ascend910 NPU 上的完整适配和验证方案。

  • 模型架构:BertForSequenceClassification(12层 BERT-base)
  • 参数量:约 102M
  • 支持序列长度:512
  • 权重下载地址(ModelScope):https://modelscope.cn/models/iic/nlp_structbert_emotion-classification_chinese-base
  • 适配框架:PyTorch + transformers + torch_npu

2. 验证环境

组件版本
NPU 硬件Ascend910 (HBM 64GB)
torch2.9.0
torch_npu2.9.0
transformers4.50.0
modelscope1.35.3
Python3.11.14
驱动版本25.5.2

3. 服务启动

由于该模型为 BERT 序列分类模型(非生成式模型),可直接通过 Python 脚本加载模型进行推理,无需启动独立的 API 服务。

3.1 环境准备

pip install torch torch_npu transformers modelscope

3.2 模型加载与推理

import torch
import torch_npu
from transformers import AutoTokenizer, BertForSequenceClassification

device = "npu:0"
torch_npu.npu.set_device(device)

model_path = "path/to/model"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = BertForSequenceClassification.from_pretrained(model_path, torch_dtype=torch.float32)
model = model.to(device)
model.eval()

3.3 运行推理脚本

cd /opt/atomgit/~/iic/nlp_structbert_emotion-classification_chinese-base
python3 inference.py

4. Smoke 验证

执行推理脚本验证模型基本功能:

python3 inference.py

预期输出格式:

输入: "新年快乐!"
  预测情绪: 喜好 (置信度: 0.8787)
  推理时间: 6.69 ms

5. 性能参考

在 Ascend910 NPU 上测试的性能数据:

指标数值
单样本平均延迟 (batch=1)6.62 ms
单样本吞吐量151.00 samples/sec
Batch=4 吞吐量505.51 samples/sec
Batch=8 吞吐量1015.02 samples/sec

性能测试脚本:eval/perf_test.py

6. 精度评测

在 16 个涵盖全部 7 类情感的中文测试样本上,模型达到 100% 的 Top-2 准确率。

类别测试样本数全部正确
高兴/喜好4是
悲伤3是
愤怒3是
恐惧2是
厌恶2是
惊讶2是

精度测试脚本:eval/accuracy_test.py

python3 eval/accuracy_test.py
python3 eval/perf_test.py

详细结果参考:eval/accuracy.json、eval/performance.json

7. 注意事项

  1. 设备选择:首次运行前请确保 Ascend NPU 驱动已正确安装,可通过 npu-smi info 检查设备状态。
  2. 数据类型:模型原始权重为 float32 精度,推荐保持 float32 以维持最佳精度。
  3. 序列长度:模型支持最大序列长度为 512 tokens,超长文本将自动截断。
  4. 多标签分类:该模型使用 multi_label_classification 模式,输出为 sigmoid 概率。
  5. 首次加载:首次加载模型需要从 ModelScope 下载约 390MB 权重文件。
  6. 环境变量:如遇到日志警告,可忽略 can not create directory 警告,不影响推理结果。

Ascend NPU 精度评测

NPU vs CPU 精度对比(CPU 为基线,NPU 为验证目标):

指标数值
测试用例数6
最大 logits 差异0.00284356
预测一致性6/6 (100%)
精度要求NPU vs CPU 最大 logits 误差 < 1%
精度结论通过 (差异 小于 1%)

精度评测源代码和日志详见 eval/ 目录。