本文档记录 OpenMed/OpenMed-NER-ChemicalDetect-SuperClinical-184M 在昇腾 NPU(Ascend910)环境的快速部署与验证结果。
相关获取地址:
| 组件 | 版本 |
|---|---|
| torch | ≥2.1.0 |
| torch_npu | ≥2.1.0 |
| transformers | ≥4.37.0 |
| CANN | 8.5.RC1 |
pip install transformers torch
4. 精度评测
NPU vs CPU 数值一致性对比:
┌──────────────────────┬──────────┐
│ 指标 │ 值 │
├──────────────────────┼──────────┤
│ Top-1 一致性 │ 4/4 │
├──────────────────────┼──────────┤
│ Max Logit Diff Ratio │ 0.001517 │
├──────────────────────┼──────────┤
│ Avg KL Divergence │ 0.0 │
├──────────────────────┼──────────┤
│ 结论 │ PASS │
└──────────────────────┴──────────┘
5. 性能参考
┌──────────────┬─────────────┐
│ 指标 │ 值 │
├──────────────┼─────────────┤
│ 硬件 │ Ascend 910B │
├──────────────┼─────────────┤
│ 平均推理时间 │ 17.15ms │
└──────────────┴─────────────┘