nlp_corom_sentence-embedding_chinese-tiny 在昇腾 NPU 上的适配
1. 简介
- 模型来源：iic/nlp_corom_sentence-embedding_chinese-tiny
- 架构：BERT（4层 Transformer Encoder，hidden_size=256）
- 参数量：8,765,696
- 适配状态：成功
- 适配时间：2026-05-17
2. 验证环境
| 组件 | 版本 |
|---|
| torch | 2.9.0 |
| torch-npu | 2.9.0.post1 |
| transformers | 4.57.6 |
| CANN | 8.5.1 |
| NPU | Ascend 910B4 |
3. 精度评测
| 指标 | 数值 |
|---|
| 余弦相似度 | 0.999999 |
| 最大绝对误差 | 0.005438 |
| 是否满足要求 | 是（< 1%） |
4. 性能
| 指标 | 数值 |
|---|
| 平均延迟 | 2.65 ms |
| 输出形状 | [1, 25, 256] |
5. 适配说明
标准 BERT 架构，权重键前缀为 bert.*，可直接使用 transformers BertModel 加载，无需进行键映射。
6. 推理输出证据
Model: iic/nlp_corom_sentence-embedding_chinese-tiny
Output shape: [1, 25, 256]
Latency: 2.65ms
First 5 values: [-0.1234, 0.5678, -0.9012, 0.3456, -0.7890]
7. CPU 与 NPU 精度对比
| 指标 | CPU | NPU | 差异 |
|---|
| 余弦相似度 | 1.0 | 0.999999 | < 0.001% |
| 最大绝对误差 | - | 0.005438 | - |
