xujiashuai/timm-nlp_structbert_fact-checking_chinese-base
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

nlp_structbert_fact-checking_chinese-base - 昇腾 NPU 适配

1. 模型简介

StructBERT 中文事实核查模型,3 类分类(事实一致、事实冲突、不确定)。

  • 原始模型: iic/nlp_structbert_fact-checking_chinese-base
  • 框架: PyTorch (transformers)
  • 任务: 事实核查 / NLI(3 分类)

2. 昇腾 NPU 适配结果

指标值
余弦相似度0.999999
平均延迟6.96 ms
推理精度float32
设备昇腾 910B4

3. 快速使用

export ASCEND_HOME_PATH=/usr/local/Ascend/cann
export LD_LIBRARY_PATH=/usr/local/Ascend/cann/lib64:$LD_LIBRARY_PATH
python inference.py --device npu:0 --dtype float32

4. 推理输出证据

模型: iic/nlp_structbert_fact-checking_chinese-base
设备: npu:0
精度: float32
------------------------------------------------------------
  input_ids: shape=torch.Size([1, 8])
  logits: shape=torch.Size([1, 3])
  CPU pred: 2, NPU pred: 2

  Cosine Similarity (logits): 0.999999

✓ 推理完成
  平均延迟: 6.96 ms

5. CPU 与 NPU 精度对比

指标CPU (float32)NPU (float32)误差
余弦相似度基准0.9999990.0001%
输出维度[1,3][1,3]一致
预测类别22一致

6. 智能体技能

本适配由 batch-adapter 自动完成。