weixin_72661020/paperssss_GreenBERT
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

paperssss_GreenBERT

1. 简介

本文档记录 paperssss_GreenBERT 在昇腾 NPU（Ascend910）环境的快速部署与验证结果。

文本分类模型，基于 HuggingFace transformers 框架，支持对文本进行多类别分类，适用于情感分析、意图识别、内容审核等场景。

相关获取地址：

  • 权重下载地址（ModelScope）：https://modelscope.cn/models/paperssss_GreenBERT

参考文档：

  • https://huggingface.co/docs/transformers/en/model_doc/auto

2. 验证环境

组件版本
torch2.5.1
torch_npu2.5.1
transformers>=4.48.0
CANN8.5.RC1
  • NPU：Ascend910（单卡）
  • 推理框架：PyTorch + transformers

3. 快速部署

3.1 环境准备

pip install transformers torch

3.2 推理代码

import torch
from transformers import AutoTokenizer, BertForSequenceClassification

device = torch.device("npu:0" if torch.npu.is_available() else "cpu")
model_name = "paperssss_GreenBERT"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = BertForSequenceClassification.from_pretrained(model_name, trust_remote_code=True)
model = model.to(device).eval()

texts = ["This product is amazing!", "I hate this service."]
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=128)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)
predictions = outputs.logits.argmax(-1)
print(f"预测类别: {predictions.tolist()}")

4. Smoke 验证

python3 inference.py

验证结果：

  • 模型成功加载到 npu:0
  • 推理过程无报错

5. 精度评测

NPU 与 CPU 输出对比，验证数值一致性（logits 相对误差 < 1%）。

指标数值
Top-1 一致性4/4
Max Logit Diff Ratio0.024%
Avg KL Divergence-0.000000
结论PASS

精度要求：Top-1 一致率 100%，logits 相对误差 < 1%。

6. 性能参考

测试条件：FP32 / batch=8 / max_length=128 / warmup=5 / timed=50 runs，Ascend910 单卡。

指标数值
平均推理时间7.40 ms
测试次数50

7. 注意事项

  • 精度验证为 NPU vs CPU 数值一致性（logits 相对误差 < 1%），非模型准确率
  • 如遇 trust_remote_code 相关警告，不影响推理结果
  • 支持 FP16 混合精度推理以提升性能