2301_76761127/paraphrase-multilingual-mpnet-base-v2-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

paraphrase-multilingual-mpnet-base-v2 昇腾 NPU 推理验证

模型简介

sentence-transformers/paraphrase-multilingual-mpnet-base-v2 是基于 XLM-RoBERTa/mpnet 架构的多语言句子嵌入模型(约 278M 参数),将 50+ 种语言的句子映射为 768 维向量, 经 mean pooling + L2 归一化后可直接用余弦相似度做跨语言语义检索 / 释义识别。

环境

  • 硬件: 4× Ascend 910B4 (32G)
  • 软件: CANN 9.1.0 / torch 2.12 / torch_npu / transformers 5.15
  • 权重: ~/models/sentence-transformers/paraphrase-multilingual-mpnet-base-v2

运行方法

python3 inference.py
# 可用 MODEL_PATH / NPU_DEV 环境变量覆盖默认路径与设备

NPU 适配要点

  • 先 import torch_npu 再加载模型,设备固定 npu:0,精度 fp16。
  • attn_implementation="eager" 规避 NPU 上 SDPA 算子兼容问题。
  • 未安装 sentence-transformers 包,使用 AutoModel + mean pooling 等价复现官方 SentenceTransformer 嵌入逻辑(L2 归一化后点积即余弦相似度)。
  • 无真实语料,输入为脚本内置的确定性多语言句子(中/英)。

结果

  • 峰值显存: 0.54 GiB(torch.npu.max_memory_allocated())
  • 推理耗时: 0.59 s(6 句批量编码)
  • 相似度结构: 跨语言平行句 0.933 / 英文同义对 0.995 / 无关句 0.078,区分度正常。

输出说明

  • 终端打印余弦相似度矩阵并断言:嵌入 finite、shape==(N,768)、 同义/平行句相似度显著高于无关句。
  • assets/npu_result.json: 设备、精度、峰值显存、耗时与相似度摘要。
  • assets/*.png: 适配流程、设备调用、推理结果三张终端截图。