bge-base-en-v1.5(BAAI General Embedding)是北京智源人工智能研究院(BAAI)发布的英文通用文本嵌入模型,属于 BERT-base 架构(12 层 Transformer 编码器,hidden size 768,约 1.1 亿参数)。模型在 1B 级中文与英文语料上经过检索式微调(retrieval fine-tuning),配合 Contrastive Learning 训练得到,输出 768 维且经过 L2 归一化的稠密向量,广泛用于语义检索、文本去重、聚类、相似度计算等 NLP 场景。
本次适配目标:将该嵌入模型部署到华为昇腾 Ascend910 NPU 上,采用 vLLM-Ascend 推理框架开启 OpenAI 兼容服务化接口,使下游业务可通过标准 REST API 直接获取向量,替代 GPU/CPU 推理路径,实现国产算力落地。
| 项目 | 内容 |
|---|---|
| 模型类型 | 文本嵌入模型(Text Embedding / Feature Extraction) |
| 架构 | BertModel(BERT base) |
| 参数量 | 约 110M |
| 输出维度 | 768 |
| 最大序列长度 | 512 |
| 输出归一化 | L2 归一化(范数=1) |
| 原始许可证 | MIT |
| 实际拉取源 | GitCode(首次尝试,因 CDN 限流失败)→ ModelScope 成功拉取 |
| 拉取时间 | 2026-08-22 |
BertModel → BertEmbeddingModel 映射,零代码改动完成架构加载;--runner pooling 启动池化模型运行时,配 float32 精度保证嵌入数值精度;/v1/embeddings 与 /pooling 端点,兼容 OpenAI Embedding 协议。| 项目 | 配置 |
|---|---|
| NPU 型号 | Ascend910 |
| NPU 卡数 | 2(本次使用 1 卡) |
| 单卡 HBM | 64 GB |
| npu-smi 版本 | 25.5.5 |
| 项目 | 版本 |
|---|---|
| 操作系统 | Linux 5.10.0-182.0.0.95.r2220_156.hce2.aarch64 |
| Python | 3.11.14 |
| CANN | 8.5.1 |
| vLLM | 0.18.0 |
| vllm-ascend | 0.18.0(源码 /vllm-workspace/vllm-ascend) |
| torch / torch_npu | 2.9.0 / 2.9.0.post1 |
| transformers | 4.35.0+ |
| modelscope | 1.36.3 |
| 项目 | 内容 |
|---|---|
| 权重文件 | model.safetensors(437,955,512 字节) |
| 张量数量 | 200 |
| 精度 | float32(未量化) |
| 拉取方式 | modelscope snapshot_download |
export ASCEND_RT_VISIBLE_DEVICES=1 # 选择 NPU 设备(避开他人占用卡)
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export TASK_QUEUE_ENABLE=1vllm serve /opt/atomgit/models/BAAI/bge-base-en-v1.5 \
--runner pooling \
--served-model-name bge-base-en-v1.5 \
--max-model-len 512 \
--dtype float32 \
--host 0.0.0.0 \
--port 8020 \
--max-num-seqs 64 \
--gpu-memory-utilization 0.6启动日志关键信息:
INFO __init__.py:46 - ascend -> vllm_ascend:register # NPU 平台插件激活
INFO config.py:848 Found pooling configuration. # 池化配置识别
INFO core.py:103 Initializing a V1 LLM engine (v0.18.0)
INFO launcher.py:46 Route: /v1/embeddings, Methods: POST # 服务化路由就绪
INFO: Application startup complete.| 参数 | 取值 | 说明 |
|---|---|---|
--runner pooling | pooling | 必需,以池化运行器加载嵌入模型 |
--max-model-len | 512 | 与 max_position_embeddings 对齐 |
--dtype | float32 | 保持模型原始精度,避免嵌入漂移 |
--port | 8020 | 避开 8000-8011 公共占用段 |
服务就绪后执行以下冒烟命令:
# 1. 服务就绪检查
curl -s http://127.0.0.1:8020/v1/models
# 2. 单条嵌入
curl -s http://127.0.0.1:8020/v1/embeddings \
-H "Content-Type: application/json" \
-d '{"model":"bge-base-en-v1.5","input":"Hello, world!"}'实际输出(节选):
{"object":"list","data":[{"object":"embedding","index":0,
"embedding":[-0.0653,-0.0681,0.0128,...]}]}冒烟结论:/v1/models 返回 served 模型 bge-base-en-v1.5,max_model_len=512;嵌入接口返回 768 维向量,请求 token 统计正常。Smoke 验证通过。
在本次实测环境(Ascend910 单卡、float32、max_num_seqs=64)下,使用仓库 inference.py 压测结果:
| 指标 | 数值 |
|---|---|
| 单条嵌入延迟(Test 1) | 18.7 ms |
| 批量 4 条嵌入延迟(Test 2) | 28.7 ms |
| 连续 20 次请求吞吐(Test 4) | 74.95 req/s |
| 平均单请求延迟 | 13.3 ms |
推理过程中的 NPU 占用(后台 npu-smi 采样):
| 项目 | 数值 |
|---|---|
| 运行芯片 | NPU 1 / Chip 1(Phy-ID 3) |
| 进程占用显存 | 739 - 741 MB |
| 推理峰值 AICore | 10 - 11% |
| 芯片 HBM 增量 | 约 682 MB(21961 → 22643 MB) |
说明:嵌入推理为轻量短突发任务,AICore 瞬时占用峰值约 10%,其余时间采样为 0%(请求仅 13ms 即完成)。
采用语义相似度对比验证嵌入向量质量,计算两两余弦相似度:
| 文本对 | 余弦相似度 | 预期 |
|---|---|---|
| "How to make a cake?" vs "What is the recipe for baking a cake?" | 0.9188 | 高(语义相近) |
| "How to make a cake?" vs "The stock market fell sharply today." | 0.3266 | 低(语义无关) |
附加精度属性验证:
| 验证项 | 结果 |
|---|---|
| 输出维度 | 768 |
| 向量 L2 范数 | 1.0000(模型默认归一化) |
| 批量一致性 | batch=4 各向量范数均 = 1.0000 |
| 相似/无关判别间隔 | 0.59(0.92 vs 0.33) |
精度结论:向量维数正确、归一化符合预期、相似文本对与无关文本对的余弦相似度区分度显著,嵌入质量与官方 bge 系列行为一致。
ss -tln 或 (echo >/dev/tcp/127.0.0.1/<port>) 探测端口空闲,切勿 kill 其他窗口的推理进程。--runner pooling 是必需参数:本版本 vLLM(0.18.0)不再识别旧版 --task embed,必须使用 --runner pooling(必要时配 --convert embed)加载嵌入模型,否则报 unrecognized arguments。--dtype float32;若追求吞吐可评估 bfloat16 后自行对比向量一致性。--enforce-eager 兜底:若首次加载遇到图捕获问题,可加 --enforce-eager 隔离问题(本适配已验证可用)。ASCEND_RT_VISIBLE_DEVICES 显式指定卡号,避免与其他任务抢显存。