BAAI/bge-small-zh-v1.5 — 昇腾 NPU 适配与精度测评

✅ 适配结论：精度完全对齐，误差 < 0.001%

关键发现: 之前报告中 10.5% 的偏差来源于 vLLM-Ascend 的 EncoderOnlyAttention 实现，而非 NPU 硬件本身。 通过 HuggingFace 模型直连 NPU（不经过 vLLM），余弦相似度在所有测试文本上均 > 0.999997。

📋 模型信息

📦 环境要求

🚀 快速使用

命令行推理

# 单文本嵌入
python3 infer_npu.py --text "今天天气很好，适合出去玩"

# 批量嵌入
python3 infer_npu.py --text "文本1" --text "文本2" --text "文本3"

# 从文件读取
python3 infer_npu.py --input texts.txt

HTTP API 服务

# 启动服务
python3 infer_npu.py --serve --port 8000

# 调用 API
curl http://localhost:8000/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"input": ["今天天气很好，适合出去玩", "The quick brown fox"]}'

Python API

from infer_npu import BGEEmbeddingNPU

engine = BGEEmbeddingNPU()
embs = engine.encode(["今天天气很好", "Hello world"], batch_size=32)
print(embs.shape)  # (2, 512)

🎯 精度对比评测

评测方法

使用 HuggingFace Transformers 模型分别在 CPU (float32 黄金基线) 和 NPU 上运行， 确保完全相同的代码路径（相同的张量操作、相同的池化策略）。

对比维度:

1. CPU float32 — 黄金基线 (全精度)
2. NPU float32 — HuggingFace 直连 Ascend 910

嵌入提取方式 (CLS + L2 Normalize):

hidden_states → CLS token [0] → L2 normalize → output embedding

精度数据

分类统计

精度判定

✅ 全局通过：最小余弦相似度 0.99999702，归一化误差 0.0003%，远低于 1% 要求。

🔬 关键诊断：vLLM-Ascend 注意力偏差

问题发现

在初始适配中，通过 vLLM-Ascend 运行时发现中英混合文本存在 10.5% 的余弦误差：

三重控制变量实验

根因

偏差 不是 dtype 转换也不是 NPU 硬件问题，而是 vLLM-Ascend 的 EncoderOnlyAttention 后端在特定注意力分布下的数值差异。HF 直连 NPU 使用相同的 PyTorch 代码路径，所有文本的余弦相似度均 > 0.99999。

⚡ 性能数据

注: 该模型仅 30M 参数，CPU 本身已很快。对于更大的 BERT 模型，NPU 加速比将更加显著。

📚 文件说明

📚 参考资料

• BGE 模型官方
• ModelScope 模型页
• 昇腾社区