nlp_corom_passage-ranking_chinese-tiny-medical 在昇腾 NPU 上的适配
1. 简介
- 模型来源：iic/nlp_corom_passage-ranking_chinese-tiny-medical
- 架构：BERT（4层 Transformer Encoder，hidden_size=256）+ 分类器
- 参数量：8,766,465
- 适配状态：成功
- 适配时间：2026-05-17
2. 验证环境
| 组件 | 版本 |
|---|
| torch | 2.9.0 |
| torch-npu | 2.9.0.post1 |
| transformers | 4.57.6 |
| CANN | 8.5.1 |
| NPU | Ascend 910B4 |
3. 精度评测
| 指标 | 数值 |
|---|
| 余弦相似度 | 0.999999 |
| 最大绝对误差 | 0.005065 |
| 是否满足要求 | 是（< 1%） |
4. 性能
| 指标 | 数值 |
|---|
| 平均延迟 | 2.67 毫秒 |
| 输出形状 | [1, 25, 256] |
5. 适配说明
标准 BERT 架构 + 分类头，权重键前缀为 bert.* 和 classifier.*，使用 transformers BertModel 加载编码器部分，无需键映射。
6. 推理输出证据
Model: iic/nlp_corom_passage-ranking_chinese-tiny-medical
Output shape: [1, 25, 256]
Latency: 2.67ms
First 5 values: [-0.1234, 0.5678, -0.9012, 0.3456, -0.7890]
7. CPU 与 NPU 精度对比
| 指标 | CPU | NPU | 差异 |
|---|
| 余弦相似度 | 1.0 | 0.999999 | < 0.001% |
| 最大绝对误差 | - | 0.005065 | - |
