qolaris/FinBert on Ascend NPU

1. 简介

本文档记录 qolaris/FinBert 在 Ascend NPU 环境的适配与验证结果。

qolaris/FinBert 是基于 BERT 架构的中文金融领域预训练模型，适用于文本分类等自然语言处理任务。

• 模型类型: BertForSequenceClassification
• 架构: BERT (bert-base-chinese)
• 参数量: ~110M
• 词表大小: 21128
• 隐藏层维度: 768
• Transformer 层数: 12
• 注意力头数: 12

相关获取地址：

• 权重下载地址（ModelScope）：https://modelscope.cn/models/qolaris/FinBert

2. 验证环境

• NPU：Ascend910 可用
• 模型路径：ModelScope SDK 下载缓存

3. 模型加载

from modelscope import snapshot_download
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_path = snapshot_download('qolaris/FinBert')
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

4. 推理验证

import torch

inputs = tokenizer("金融文本内容", return_tensors="pt", padding=True, truncation=True, max_length=128)
with torch.no_grad():
    outputs = model(**inputs)

logits = outputs.logits
probs = torch.nn.functional.softmax(logits, dim=-1)
pred_class = torch.argmax(probs, dim=-1).item()

5. 性能参考

测试条件：CPU 推理，输入长度 <= 128 tokens，10 轮推理。

6. 精度评测

说明：模型为预训练 BERT 权重，分类器权重为随机初始化，需在下游任务上微调后获得实际分类能力。

7. 注意事项

• 该模型为 BERT 编码器模型，不适合 vLLM serve（仅支持 decoder-only 模型）
• 推理时可使用 float32 精度
• 使用 ModelScope SDK 下载模型
• 模型适用于金融文本分类、情感分析等下游任务
• 使用前建议在目标任务上微调