1. 模型简介
基于 CoRoM（上下文感知鲁棒模型）的中文电商领域句子嵌入模型，采用 BERT-base 架构，适用于电商场景下的语义相似度计算与检索任务。
2. 昇腾 NPU 适配结果
| 指标 | 值 |
|---|
| 余弦相似度 | 0.999992 |
| 最大绝对误差 | 0.008105 |
| 平均延迟 | 6.96ms |
| 输出维度 | (1, T, 768) |
| 推理精度 | float32 |
| 设备 | Ascend 910B4 |
3. 环境要求
| 组件 | 版本 |
|---|
| CANN | 8.5.1 |
| torch_npu | 2.9.0.post1 |
| PyTorch | 2.9.0 |
| Python | 3.11 |
| transformers | latest |
| modelscope | latest |
4. 快速使用
export ASCEND_HOME_PATH=/usr/local/Ascend/cann
export LD_LIBRARY_PATH=/usr/local/Ascend/cann/lib64:$LD_LIBRARY_PATH
python inference.py
python evaluate.py
5. 推理输出证据
Model: iic/nlp_corom_sentence-embedding_chinese-base-ecom
Device: npu:0
Output shape: [1, 25, 768]
Output sample: [0.3923669755458832, -0.1256464123725891, -0.12140969187021255, 0.31653329730033875, 0.42105892300605774]
Latency: 6.96ms
--- CPU vs NPU 精度对比 ---
Cosine Similarity: 0.999992
Max Abs Error: 0.008105
SUCCESS
6. CPU 与 NPU 精度对比
| 指标 | CPU (float32) | NPU (float32) | 误差 |
|---|
| 余弦相似度 | 基准 | 0.999992 | < 0.00001 |
| 最大绝对误差 | - | 0.008105 | - |
| 输出维度 | (1, 25, 768) | (1, 25, 768) | 一致 |
7. 模型结构
- 骨干网络：BERT-base（12 层）
- 隐藏层大小：768
- 注意力头数：12
- 最大位置数：512
- 词汇表大小：21128
- 池化方式：first_token_transform
