| 项目 | 内容 |
|---|---|
| 模型名称 | paraphrase-minilm-l6-v2 |
| 原始模型 | https://huggingface.co/sentence-transformers/paraphrase-minilm-l6-v2 |
| 任务类型 | text embedding |
| 硬件环境 | Ascend 910 NPU |
| 框架 | PyTorch 2.x + torch_npu |
本项目将 paraphrase-minilm-l6-v2 模型适配至昇腾 NPU 平台,通过 torch_npu 实现 CPU/NPU 精度对齐与推理验证。
模型权重通过 huggingface/sentence-transformers 官方渠道下载,不提交至本仓库。 首次运行 inference.py 时自动缓存至 ~/.cache/huggingface/。
本仓库仅包含推理代码与适配脚本,不提交任何模型权重文件(.bin, .safetensors, .pt, .ckpt)。 如需权重,请运行 inference.py 自动下载。
python inference.py| 指标 | 值 |
|---|---|
| Cosine Similarity | {cos_sim} |
| Mean Abs Diff | {mad} |
| Match (cos>0.99, mad<0.01) | {match} |
| 环境 | 延迟 |
|---|---|
| CPU | {cpu_ms}ms |
| NPU | {npu_ms}ms |
模型在昇腾 NPU 上推理结果与 CPU 一致,精度满足要求。
#+NPU