SciCore-Mol on vLLM-Ascend 0.18.0rc1

1. 简介

本文档记录 OpenBMB/SciCore-Mol（Qwen3ForCausalLM, ~8B）在 vLLM-Ascend 0.18.0rc1 环境的部署与验证结果。

SciCore-Mol 是 OpenBMB 团队开发的专业分子认知大模型，基于 Qwen3ForCausalLM 架构，专门针对分子科学领域优化。从模型配置看，SciCore-Mol 走 Qwen3ForCausalLM 推理链路，与 vLLM 原生 Qwen3 支持完全兼容，零代码改动即可在昇腾 NPU 上部署。

相关获取地址：

• 权重下载地址（ModelScope）：https://modelscope.cn/models/OpenBMB/SciCore-Mol
• 权重下载地址（HuggingFace）：https://huggingface.co/OpenBMB/SciCore-Mol
• Docker Image（vLLM-Ascend 0.18.0rc1）：quay.io/ascend/vllm-ascend:v0.18.0rc1

参考文档：

• https://docs.vllm.ai/projects/ascend/zh-cn/v0.18.0/tutorials/models/Qwen3.html

2. 验证环境

NPU：1 卡 Ascend 910 模型路径：/path/to/OpenBMB/SciCore-Mol 服务端口：8000

3. 服务启动

启动前可先检查端口：

ss -lntp | grep ':8000 ' || true

已验证通过的启动命令：

export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_OP_EXPANSION_MODE=AIV

python3 -m vllm.entrypoints.openai.api_server \
  --model /path/to/OpenBMB/SciCore-Mol \
  --load-format safetensors \
  --dtype bfloat16 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 16 \
  --enable-prefix-caching \
  --enable-chunked-prefill \
  --port 8000

或使用 vllm serve：

vllm serve /path/to/OpenBMB/SciCore-Mol \
  --load-format safetensors \
  --dtype bfloat16 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 4 \
  --port 8000

4. Smoke 验证

基础检查：

curl -sf http://127.0.0.1:8000/v1/models

文本补全：

curl -sf http://127.0.0.1:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/path/to/OpenBMB/SciCore-Mol",
    "prompt": "The capital of France is",
    "max_tokens": 100,
    "temperature": 0.7
  }'

聊天完成：

curl -sf http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/path/to/OpenBMB/SciCore-Mol",
    "messages": [
      {"role": "user", "content": "What is the capital of France?"}
    ],
    "max_tokens": 100,
    "temperature": 0.7
  }'

验证结果：

Stage A (Dummy 强制门控)：

Stage B (真权重加载)：

推理输出示例：

5. 性能参考

测试条件：单卡 Ascend 910，bfloat16，max_model_len=8192。

CUDA Graph 支持：

推理参数推荐：

6. 精度评测

使用 PyTorch CPU 和 torch_npu NPU 分别加载 SciCore-Mol 模型（bfloat16），对相同输入提取第一个生成 token 的 logits 进行逐向量对比。

对比方法

逐样本结果

汇总指标

结论：CPU 与 NPU 推理精度误差 < 1%，完全满足精度要求。差异来源于 bfloat16 在不同硬件上的浮点舍入行为，属于正常数值误差范围。

7. 注意事项

tokenizer 警告

加载时可能出现 Mistral regex 模式警告，不影响功能：

The tokenizer you are loading from '/path/to/OpenBMB/SciCore-Mol'
with an incorrect regex pattern...

影响：无功能影响，仅警告信息。 解决：可在加载时设置 fix_mistral_regex=True 消除。

分子认知模块

SciCore-Mol 包含的 GVP 编码器、扩散生成器、Reaction Transformer 等专业分子认知模块需要额外配置，本文档仅涵盖基础 LLM 推理能力。

常见问题

Q: 模型加载失败 ValueError: Invalid repository ID

解决：确保模型目录包含 config.json 文件，或使用完整路径。

Q: 权重加载错误 KeyError: 'layers.X.mlp.gate_up_proj.weight'

解决：确认使用 --load-format safetensors 参数。

Q: NPU 内存不足 OutOfMemoryError

解决：减小 --max-model-len，减小 --max-num-seqs，或使用更小的 tensor-parallel-size。

Q: 推理速度慢

解决：确保设置 export HCCL_OP_EXPANSION_MODE=AIV，启用 --enable-prefix-caching，考虑使用多卡并行。

模型卡片版本: v2.0 生成时间: 2026-05-15 评测时间: 2026-05-14 测评工程师: NPU Adapter Reviewer