BGE(BAAI General Embedding)base-en-v1.5 是北京智源研究院发布的英文句向量 嵌入模型(BERT-base,109M 参数)。将文本句子映射为 768 维向量,用于语义检索、 文本相似度、RAG 等场景。v1.5 针对相似度任务(MTEB)进一步优化。
本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。
| 项目 | 说明 |
|---|---|
| 模型架构 | BertModel(BERT-base) |
| 参数量 | 109M |
| 嵌入维度 | 768 |
| 最大序列长度 | 512 |
| 池化方式 | CLS token + L2 归一化 |
| 权重格式 | safetensors(418MB) |
| 支持任务 | 句向量嵌入、语义检索、文本相似度 |
| 项目 | 要求 |
|---|---|
| 硬件 | Ascend 910B 系列(≥1 卡) |
| CANN | ≥ 8.0(source /usr/local/Ascend/ascend-toolkit/set_env.sh) |
| Python | 3.10 – 3.11 |
| torch / torch_npu | 2.9.0 / 2.9.0.post1 |
| transformers | ≥ 4.30 |
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install torch_npu==2.9.0.post1 transformers pillow safetensors \
-i https://repo.huaweicloud.com/repository/pypi/simple/权重通过 HuggingFace 镜像获取:
git clone --depth 1 https://hf-mirror.com/BAAI/bge-base-en-v1.5 model_src权重目录包含:model.safetensors(418MB)/ tokenizer.json / vocab.txt /
config.json 等。
cd /workspace/bge-base-en-v1.5
python3 inference.py --model_path ./model_src --text "What is the capital of France?" --device npu:0| 参数 | 说明 | 默认值 |
|---|---|---|
--model_path | 模型权重目录 | ./model_src |
--text | 输入文本句子(真实文本,必选) | - |
--device | 推理设备(npu:0 / cpu) | npu:0 |
--output | 结果保存文件(可选,向量 CSV) | stdout |
设备解析:NPU 优先,自动回退 CPU。
输入:"What is the capital of France?"
输出:
[info] 句向量维度: 768
[info] 向量前 8 维: [-0.0653, -0.0681, 0.0128, -0.0146, -0.0446, 0.0304, 0.0174, 0.0745]
[info] L2 范数: 1.000000768 维 L2 归一化句向量正常输出,NPU 推理链路完整跑通。
.to(npu) 迁移即可。torch.no_grad()。resolve_device():NPU 可用性检测,失败自动回退 CPU。*.safetensors / *.bin 已加入 .gitignore,
仓库仅包含推理脚本、模型卡片与截图素材。.
├── README.md # 模型卡片(本文件)
├── inference.py # NPU 推理脚本
└── assets/ # 适配过程截图素材