eardoi/bge-base-en-v1.5-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

BAAI bge-base-en-v1.5(昇腾 NPU 适配)

BGE(BAAI General Embedding)base-en-v1.5 是北京智源研究院发布的英文句向量 嵌入模型(BERT-base,109M 参数)。将文本句子映射为 768 维向量,用于语义检索、 文本相似度、RAG 等场景。v1.5 针对相似度任务(MTEB)进一步优化。

本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。

模型规格

项目说明
模型架构BertModel(BERT-base)
参数量109M
嵌入维度768
最大序列长度512
池化方式CLS token + L2 归一化
权重格式safetensors(418MB)
支持任务句向量嵌入、语义检索、文本相似度

环境要求

项目要求
硬件Ascend 910B 系列(≥1 卡)
CANN≥ 8.0(source /usr/local/Ascend/ascend-toolkit/set_env.sh)
Python3.10 – 3.11
torch / torch_npu2.9.0 / 2.9.0.post1
transformers≥ 4.30

环境准备

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install torch_npu==2.9.0.post1 transformers pillow safetensors \
    -i https://repo.huaweicloud.com/repository/pypi/simple/

模型权重

权重通过 HuggingFace 镜像获取:

git clone --depth 1 https://hf-mirror.com/BAAI/bge-base-en-v1.5 model_src

权重目录包含:model.safetensors(418MB)/ tokenizer.json / vocab.txt / config.json 等。

推理

cd /workspace/bge-base-en-v1.5
python3 inference.py --model_path ./model_src --text "What is the capital of France?" --device npu:0

参数

参数说明默认值
--model_path模型权重目录./model_src
--text输入文本句子(真实文本,必选)-
--device推理设备(npu:0 / cpu)npu:0
--output结果保存文件(可选,向量 CSV)stdout

设备解析:NPU 优先,自动回退 CPU。

验证结果(Ascend 910B, npu:0)

输入:"What is the capital of France?"

输出:

[info] 句向量维度: 768
[info] 向量前 8 维: [-0.0653, -0.0681, 0.0128, -0.0146, -0.0446, 0.0304, 0.0174, 0.0745]
[info] L2 范数: 1.000000

768 维 L2 归一化句向量正常输出,NPU 推理链路完整跑通。

适配说明

  • 纯 Transformers BERT 架构,无 CUDA 特有 API,直接 .to(npu) 迁移即可。
  • 句向量采用 CLS token 池化 + L2 归一化(bge 官方方式)。
  • 推理使用 torch.no_grad()。
  • 设备解析 resolve_device():NPU 可用性检测,失败自动回退 CPU。
  • 模型权重不推送到仓库:*.safetensors / *.bin 已加入 .gitignore, 仓库仅包含推理脚本、模型卡片与截图素材。

目录结构

.
├── README.md          # 模型卡片(本文件)
├── inference.py       # NPU 推理脚本
└── assets/            # 适配过程截图素材

引用

  • 模型:https://huggingface.co/BAAI/bge-base-en-v1.5
  • 项目:https://github.com/FlagOpen/FlagEmbedding