nlp_corom_sentence-embedding_chinese-base 在昇腾 NPU 上的部署
1. 简介
- 模型来源:iic/nlp_corom_sentence-embedding_chinese-base
- 架构:BERT(基础版,768 维)
- 参数量:102,267,648
- 任务:中文句子嵌入
- 适配状态:成功
- 适配时间:2026-05-17
2. 验证环境
| 组件 | 版本 |
|---|
| torch | 2.9.0 |
| torch-npu | 2.9.0.post1 |
| CANN | 8.5.1 |
| NPU | Ascend 910B4 |
3. 精度评测
| 指标 | 数值 |
|---|
| 余弦相似度 | 0.999999 |
| 最大绝对误差 | 0.003614 |
| 是否满足要求 | 是(< 1%) |
4. 性能
| 指标 | 数值 |
|---|
| 平均延迟 | 8.20 毫秒 |
| 输出形状 | [1, 128, 768] |
5. 适配说明
使用 transformers BertModel.from_pretrained 直接加载预训练权重。输入为经过 tokenize 处理的文本(max_length=128)。
6. 推理输出证据
Model: iic/nlp_corom_sentence-embedding_chinese-base
Output shape: [1, 128, 768]
Latency: 8.20ms
Cosine Similarity: 0.999999
Max Abs Error: 0.003614
7. CPU 与 NPU 精度对比
| 指标 | CPU | NPU | 差异 |
|---|
| 余弦相似度 | 1.0 | 0.999999 | 0% |
| 最大绝对误差 | - | 0.003614 | - |