weixin_72661020/gw0125_granite-embedding-30m-iraq
模型介绍文件和版本Pull Requests讨论分析

gw0125_granite-embedding-30m-iraq

1. 简介

本文档记录 gw0125/granite-embedding-30m-iraq 在昇腾 NPU(Ascend910)环境的快速部署与验证结果。

相关获取地址:

  • 权重下载地址(ModelScope):https://modelscope.cn/models/gw0125/granite-embedding-30m-iraq

2. 验证环境

组件版本
torch≥2.1.0
torch_npu≥2.1.0
transformers≥4.37.0
CANN8.5.RC1
  • NPU:Ascend910B(单卡)

3. 快速部署

pip install transformers torch

4. 精度评测

NPU 与 CPU 数值一致性对比:

指标值
Top-1 一致性4/4
Max Logit Diff Ratio8e-06
Avg KL Divergence0.0
Min Cosine Similarity0.99999231
结论PASS

5. 性能参考

指标值
硬件Ascend 910B
平均推理时间4.39ms
下载使用量0