本仓提供 sentence-transformers/multi-qa-mpnet-base-dot-v1 在华为昇腾 NPU 上的真实文本嵌入与语义检索推理实现。模型、输入、嵌入和相似度分数均驻留 npu:0,没有 CPU 回退。

输入为一条英文 query 和两条候选文档。实测 query 为 How many people live in London?;两条文档分别描述伦敦人口与金融区。脚本使用完整 vocab.txt、CLS pooling 和 dot product,输出 query embedding [1,768]、document embeddings [2,768] 及 scores [1,2]。
flock -x -w 1800 /tmp/ascend-model-agent-npu-v1.lock python3 inference.py运行前把固定权重放入 model/model.safetensors;仓内保留脚本直接使用且已校验的 model/vocab.txt。
真实昇腾推理得到两项 dot-product 分数约为 [27.68, 16.26],top1 为第一条文档 Around 9 Million people live in London。参数、输入、768 维 embeddings 与 scores 的设备证据均为 npu:0。
模型只面向英文语义搜索;长文本会截断。脚本固定指定 revision 与 checkpoint,不支持静默替换权重,不允许 CPU fallback。仓库不包含大模型权重,首次运行前需从上游获取固定对象。
上游模型卡当前没有声明可机械确认的 SPDX 许可证。本仓不推断 Apache-2.0 或其他许可证,也不授予上游权重的额外使用权;使用者须自行核对上游模型、数据及部署场景的许可要求。


