s
stella4528/bge-base-en-v1.5-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

bge-base-en-v1.5-npu

BAAI/bge-base-en-v1.5 文本向量化(Embedding)模型的昇腾 Ascend NPU 适配推理仓库(Model-Agent 大赛交付)。

模型简介

  • 任务:文本语义向量化(Text Embedding / Feature Extraction)——将句子编码为 768 维归一化向量,可直接用于语义检索、文本聚类、语义相似度计算、RAG 等下游任务。
  • 架构:BERT-base 双向编码器(12 层 Transformer / hidden 768 / 12 头 / vocab 30522 / max_seq_length 512),约 1.09 亿参数,fp32 权重 417.6 MiB。
  • 池化策略(与官方 sentence-transformers 模块链一致):Transformer(BERT) -> Pooling(CLS token) -> Normalize(L2),即取 [CLS] token 向量并做 L2 归一化。
  • 适用场景:英文语义检索(MTEB/STS 基准常用模型)、RAG 知识库向量化、句子相似度。

环境要求

  • 硬件:Ascend 910(NPU)
  • 软件:CANN + PyTorch + torch_npu
  • 实测环境:Ascend 910、CANN 8.5.1、PyTorch 2.9.0、torch_npu 2.9.0.post1

快速开始

pip install -r requirements.txt

单条文本向量化:

python3 inference.py --query "The weather is lovely today." --output ./results

多条文本(逗号分隔)或文件(每行一条):

python3 inference.py --texts "A man is playing guitar.,How is the weather today?" --output ./results
python3 inference.py --texts @queries.txt --weights-dir ./ --device npu:0

参数说明

参数说明默认
--texts逗号分隔文本列表,或 @file.txt(每行一条)示例文本
--query单条查询文本(简写)无
--output结果输出目录results
--weights-dir本地权重目录(仓库根目录).
--deviceauto / npu:0 / cuda:0 / cpuauto
--max-length输入最大长度512

权重从本地 --weights-dir 加载;缺失时自动从 HuggingFace 镜像(hf-mirror.com)下载,不可达时回退 ModelScope。

输出说明

运行后 results/ 目录生成:

  • npu_result.json — 推理结果(嵌入向量、相似度、检查项、耗时)
  • inference_evidence.txt — 验证证据摘要
  • model_sha256.txt — 权重文件 sha256
  • npu_smi.txt — NPU 状态快照

输出为每条文本的 768 维归一化向量(unit_norm 检查通过),并附第一条文本与其他文本的余弦相似度。

验证结果(Ascend 910 NPU 实测)

  • 设备:npu:0(Ascend910)
  • 输入 4 条英文文本 → 输出 (4, 768) 向量
  • 检查项:finite 通过、向量 unit_norm(L2 范数≈1)通过
  • 语义合理性:相近句(天气相关)相似度显著高于无关句

仓库文件

文件说明
inference.pyNPU 推理脚本(必选)
readme.md本文档(必选)
requirements.txt环境依赖清单
config.json / model.safetensors模型权重(Git LFS,417.6 MiB)
tokenizer*.json / vocab.txtBERT tokenizer
assets/比赛三张截图(agent_workflow / npu_device_call / model_result)