L
Lumiire/bge-base-en-v1.5
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

BAAI/bge-base-en-v1.5 昇腾 NPU 服务化适配

简介

bge-base-en-v1.5(BAAI General Embedding)是北京智源人工智能研究院(BAAI)发布的英文通用文本嵌入模型,属于 BERT-base 架构(12 层 Transformer 编码器,hidden size 768,约 1.1 亿参数)。模型在 1B 级中文与英文语料上经过检索式微调(retrieval fine-tuning),配合 Contrastive Learning 训练得到,输出 768 维且经过 L2 归一化的稠密向量,广泛用于语义检索、文本去重、聚类、相似度计算等 NLP 场景。

本次适配目标:将该嵌入模型部署到华为昇腾 Ascend910 NPU 上,采用 vLLM-Ascend 推理框架开启 OpenAI 兼容服务化接口,使下游业务可通过标准 REST API 直接获取向量,替代 GPU/CPU 推理路径,实现国产算力落地。

基本信息

项目内容
模型类型文本嵌入模型(Text Embedding / Feature Extraction)
架构BertModel(BERT base)
参数量约 110M
输出维度768
最大序列长度512
输出归一化L2 归一化(范数=1)
原始许可证MIT
实际拉取源GitCode(首次尝试,因 CDN 限流失败)→ ModelScope 成功拉取
拉取时间2026-08-22

适配要点

  • 复用 vLLM 已内置的 BertModel → BertEmbeddingModel 映射,零代码改动完成架构加载;
  • 采用 --runner pooling 启动池化模型运行时,配 float32 精度保证嵌入数值精度;
  • 服务化暴露 /v1/embeddings 与 /pooling 端点,兼容 OpenAI Embedding 协议。

验证环境

硬件环境

项目配置
NPU 型号Ascend910
NPU 卡数2(本次使用 1 卡)
单卡 HBM64 GB
npu-smi 版本25.5.5

软件环境

项目版本
操作系统Linux 5.10.0-182.0.0.95.r2220_156.hce2.aarch64
Python3.11.14
CANN8.5.1
vLLM0.18.0
vllm-ascend0.18.0(源码 /vllm-workspace/vllm-ascend)
torch / torch_npu2.9.0 / 2.9.0.post1
transformers4.35.0+
modelscope1.36.3

模型权重信息

项目内容
权重文件model.safetensors(437,955,512 字节)
张量数量200
精度float32(未量化)
拉取方式modelscope snapshot_download

服务启动

环境变量

export ASCEND_RT_VISIBLE_DEVICES=1          # 选择 NPU 设备(避开他人占用卡)
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export TASK_QUEUE_ENABLE=1

启动命令

vllm serve /opt/atomgit/models/BAAI/bge-base-en-v1.5 \
  --runner pooling \
  --served-model-name bge-base-en-v1.5 \
  --max-model-len 512 \
  --dtype float32 \
  --host 0.0.0.0 \
  --port 8020 \
  --max-num-seqs 64 \
  --gpu-memory-utilization 0.6

启动日志关键信息:

INFO __init__.py:46      - ascend -> vllm_ascend:register     # NPU 平台插件激活
INFO config.py:848       Found pooling configuration.          # 池化配置识别
INFO core.py:103         Initializing a V1 LLM engine (v0.18.0)
INFO launcher.py:46      Route: /v1/embeddings, Methods: POST # 服务化路由就绪
INFO:                    Application startup complete.

参数说明

参数取值说明
--runner poolingpooling必需,以池化运行器加载嵌入模型
--max-model-len512与 max_position_embeddings 对齐
--dtypefloat32保持模型原始精度,避免嵌入漂移
--port8020避开 8000-8011 公共占用段

Smoke 验证

服务就绪后执行以下冒烟命令:

# 1. 服务就绪检查
curl -s http://127.0.0.1:8020/v1/models

# 2. 单条嵌入
curl -s http://127.0.0.1:8020/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"model":"bge-base-en-v1.5","input":"Hello, world!"}'

实际输出(节选):

{"object":"list","data":[{"object":"embedding","index":0,
  "embedding":[-0.0653,-0.0681,0.0128,...]}]}

冒烟结论:/v1/models 返回 served 模型 bge-base-en-v1.5,max_model_len=512;嵌入接口返回 768 维向量,请求 token 统计正常。Smoke 验证通过。

性能参考

在本次实测环境(Ascend910 单卡、float32、max_num_seqs=64)下,使用仓库 inference.py 压测结果:

指标数值
单条嵌入延迟(Test 1)18.7 ms
批量 4 条嵌入延迟(Test 2)28.7 ms
连续 20 次请求吞吐(Test 4)74.95 req/s
平均单请求延迟13.3 ms

推理过程中的 NPU 占用(后台 npu-smi 采样):

项目数值
运行芯片NPU 1 / Chip 1(Phy-ID 3)
进程占用显存739 - 741 MB
推理峰值 AICore10 - 11%
芯片 HBM 增量约 682 MB(21961 → 22643 MB)

说明:嵌入推理为轻量短突发任务,AICore 瞬时占用峰值约 10%,其余时间采样为 0%(请求仅 13ms 即完成)。

精度测评

采用语义相似度对比验证嵌入向量质量,计算两两余弦相似度:

文本对余弦相似度预期
"How to make a cake?" vs "What is the recipe for baking a cake?"0.9188高(语义相近)
"How to make a cake?" vs "The stock market fell sharply today."0.3266低(语义无关)

附加精度属性验证:

验证项结果
输出维度768
向量 L2 范数1.0000(模型默认归一化)
批量一致性batch=4 各向量范数均 = 1.0000
相似/无关判别间隔0.59(0.92 vs 0.33)

精度结论:向量维数正确、归一化符合预期、相似文本对与无关文本对的余弦相似度区分度显著,嵌入质量与官方 bge 系列行为一致。

注意事项

  1. 端口冲突:vLLM 默认 8000 端口在多任务环境下常被占用。本适配选用 8020,并建议启动前用 ss -tln 或 (echo >/dev/tcp/127.0.0.1/<port>) 探测端口空闲,切勿 kill 其他窗口的推理进程。
  2. --runner pooling 是必需参数:本版本 vLLM(0.18.0)不再识别旧版 --task embed,必须使用 --runner pooling(必要时配 --convert embed)加载嵌入模型,否则报 unrecognized arguments。
  3. 精度选择:bge 模型为 float32 权重,检索场景对精度敏感,建议 --dtype float32;若追求吞吐可评估 bfloat16 后自行对比向量一致性。
  4. 检索使用前需归一化:服务返回的嵌入已 L2 归一化(范数=1),直接内积即可等价于余弦相似度。
  5. --enforce-eager 兜底:若首次加载遇到图捕获问题,可加 --enforce-eager 隔离问题(本适配已验证可用)。
  6. 多卡共存:本机为 2 卡共享,请用 ASCEND_RT_VISIBLE_DEVICES 显式指定卡号,避免与其他任务抢显存。