S
Solis_caser/multi-qa-mpnet-base-dot-v1-ascend-npu
模型介绍
文件和版本
Pull Requests
讨论
分析

multi-qa-mpnet-base-dot-v1 昇腾 NPU 适配

模型介绍

本仓提供 sentence-transformers/multi-qa-mpnet-base-dot-v1 在华为昇腾 NPU 上的真实文本嵌入与语义检索推理实现。模型、输入、嵌入和相似度分数均驻留 npu:0,没有 CPU 回退。

真实适配工作流

上游模型

  • 上游模型:sentence-transformers/multi-qa-mpnet-base-dot-v1
  • 固定 revision:17997f24dca0df1a4fed68894fb0e1e133e60482
  • 权重文件 model.safetensors:437971872 bytes
  • 权重 SHA-256:d0338d7385e2717ca4eddb7bbec3b9950d3b8dff47dedef0ad556d1c314076bf
  • 本仓不内嵌模型权重;运行前须按固定 revision 获取并核验。

输入格式

输入为一条英文 query 和两条候选文档。实测 query 为 How many people live in London?;两条文档分别描述伦敦人口与金融区。脚本使用完整 vocab.txt、CLS pooling 和 dot product,输出 query embedding [1,768]、document embeddings [2,768] 及 scores [1,2]。

NPU 环境

  • Python 3.11.14
  • PyTorch 2.9.0
  • torch_npu 2.9.0.post1
  • CANN 8.5.1
  • 设备 npu:0,精度 FP32

运行命令

flock -x -w 1800 /tmp/ascend-model-agent-npu-v1.lock python3 inference.py

运行前把固定权重放入 model/model.safetensors;仓内保留脚本直接使用且已校验的 model/vocab.txt。

实际结果

真实昇腾推理得到两项 dot-product 分数约为 [27.68, 16.26],top1 为第一条文档 Around 9 Million people live in London。参数、输入、768 维 embeddings 与 scores 的设备证据均为 npu:0。

限制

模型只面向英文语义搜索;长文本会截断。脚本固定指定 revision 与 checkpoint,不支持静默替换权重,不允许 CPU fallback。仓库不包含大模型权重,首次运行前需从上游获取固定对象。

许可证

上游模型卡当前没有声明可机械确认的 SPDX 许可证。本仓不推断 Apache-2.0 或其他许可证,也不授予上游权重的额外使用权;使用者须自行核对上游模型、数据及部署场景的许可要求。

截图证据

适配工作流

模型、revision、权重校验和交付状态

NPU 设备调用

参数、输入、嵌入和分数的 NPU 设备证据

模型结果

真实输入、真实输出、shape 与耗时