iic_nlp_bert_relation-extraction_chinese-base

1. 简介

本文档记录 iic/nlp_bert_relation-extraction_chinese-base 在昇腾 NPU（Ascend910）环境的快速部署与验证结果。

BERT-base 文本编码模型（hidden_size=768, 12 layers, 12 heads），基于 HuggingFace transformers 框架，支持一键加载推理。

2. 验证环境

组件	版本
`torch`	`2.1.0`
`torch_npu`	`2.1.0`
`transformers`	`>=4.37.0`
`CANN`	`8.5.RC1`

NPU：Ascend910B（单卡）
隐藏层维度：768
层数：12
注意力头数：12

3. 快速部署

3.1 环境准备

pip install transformers torch

3.2 推理代码

import torch
from transformers import AutoTokenizer, AutoModel

device = torch.device("npu:0" if torch.npu.is_available() else "cpu")
model_name = "iic/nlp_bert_relation-extraction_chinese-base"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)
model = model.to(device).eval()

texts = ["今天天气真好", "这个产品太差了"]
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=128)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)

embeddings = outputs.last_hidden_state[:, 0, :]
print(f"嵌入维度: {embeddings.shape}")

4. 精度评测

NPU与CPU logits数值一致性对比（通过）。

5. 性能参考

指标	值
硬件	Ascend 910B
平均推理时间	6.95 ms
测试条件	batch=8, max_length=128, fp32

6. 注意事项

精度验证为NPU与CPU数值一致性（logits相对误差<1%），非模型准确率
部分ModelScope下载的权重含network.bert.或bert.前缀，加载时需去除前缀后用BertModel加载