GeoGPT/Qwen2.5-72B-GeoGPT 是基于 Qwen2.5-72B 的大语言模型(Qwen2ForCausalLM 架构,BF16,80 层,128K 上下文),权重约 136GB(32 个文件)。该模型依赖 vllm-ascend 在昇腾 NPU 上完成推理服务部署与性能调优;在完成 Ascend NPU 适配后,需要以 ASCEND_RT_VISIBLE_DEVICES 显式限制卡资源,并组合 cudagraph 全图捕获、FlashComm、MLP 权重预取等优化特性,最终实现输出吞吐 +59.7%、TPOT -38.0%、端到端时延 -37.3% 的收益。
| 阶段 | 模块 | 说明 |
|---|---|---|
| 基础架构 | Qwen2ForCausalLM(80 层 Transformer decoder) | 基于 Qwen2.5-72B 的因果语言模型,128K 上下文窗口 |
| 权重精度 | BF16 | 原生 BF16 权重,禁用 --quantization ascend(W8A8 专用) |
| 分布式推理 | --tensor-parallel-size 4 / 8 | 权重按 TP 分片到多卡,TP=8 时每卡约 18GB |
| 前缀缓存 | --enable-prefix-caching | 共享前缀 KV 复用,降低重复计算 |
| 图编译加速 | --compilation-config(cudagraph_mode=FULL_DECODE_ONLY) | decode 阶段全图捕获 + 多档 capture sizes |
| 调度优化 | --async-scheduling | 异步调度,消除调度空档,提升吞吐 |
| 权重预取 | weight_prefetch_config + VLLM_ASCEND_ENABLE_PREFETCH_MLP | MLP 权重预取,降低单 token 生成延迟 |
| 服务接口 | OpenAI 兼容 API(vllm.entrypoints.openai.api_server) | 标准 /v1/* 接口,--served-model-name 对外命名 |
| 项目 | 规格 |
|---|---|
| 任务类型 | 大语言模型推理服务(BF16,仅推理,不提供训练) |
| 模型架构 | Qwen2ForCausalLM |
| 模型参数量 | 72B(80 层) |
| 上下文长度 | 128K |
| 权重大小 | ~136GB(32 个文件) |
| 框架依赖 | vllm-ascend 0.18.0 + torch_npu(镜像内置)+ CANN |
| 运行设备 | Atlas 800I A2(Ascend 910B3)× 8 |
| 镜像版本要求 | vllm-ascend:v0.18.0(已验证) |
| CANN 版本要求 | 8.2.RC1(镜像内 9.0.0) |
| 路径 | 用途 |
|---|---|
/home/models/Qwen2.5-72B-GeoGPT | 模型权重目录(ModelScope 下载) |
/home/models/.cache/modelscope | ModelScope 下载缓存 |
/root/logs | 权重下载日志与服务日志 |
/models | 容器内挂载的权重目录(对应宿主机 /home/models) |
注:GeoGPT 权重为原生 BF16,不能加
--quantization ascend(该参数仅适用于 W8A8 量化权重)。部署时需按本机卡占用情况选择 TP=4 或 TP=8。
| 组件 | 版本 |
|---|---|
| vllm-ascend | 0.18.0 |
| CANN | 8.2.RC1(镜像内 9.0.0) |
| torch_npu | vllm-ascend:v0.18.0 官方镜像内置 |
| Python | 镜像自带(py3.10+) |
| 模型 | GeoGPT/Qwen2.5-72B-GeoGPT(Qwen2ForCausalLM,BF16) |
| 权重工具 | modelscope(modelscope download) |
| 设备型号 | NPU 配置 |
|---|---|
| Atlas 800I A2 | Ascend 910B3 × 8(TP=4 或 TP=8) |
| 镜像环境 | 镜像地址 |
|---|---|
| 官方镜像 | quay.nju.edu.cn/ascend/vllm-ascend:v0.18.0 |
docker run -d \
--name vllm-ascend-geogpt \
--privileged \
--shm-size=1g \
--net=host \
-e ASCEND_VISIBLE_DEVICES=0,1,2,3 \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /home/models:/models \
-v /root/.cache:/root/.cache \
quay.nju.edu.cn/ascend/vllm-ascend:v0.18.0 \
/bin/bash -c "sleep infinity"使用 ModelScope 下载 GeoGPT 权重,下载完成后共 32 个文件,约 136GB:
mkdir -p /home/models/.cache/modelscope /root/logs
nohup env MODELSCOPE_CACHE=/home/models/.cache/modelscope \
modelscope download --model GeoGPT/Qwen2.5-72B-GeoGPT \
--local_dir /home/models/Qwen2.5-72B-GeoGPT \
> /root/logs/download_qwen25_72b_geogpt.log 2>&1 &docker exec -d vllm-ascend-geogpt bash -c 'cd /models && \
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 && \
export TASK_QUEUE_ENABLE=1 && \
export VLLM_USE_V1=1 && \
export HCCL_OP_EXPANSION_MODE="AIV" && \
export VLLM_ASCEND_ENABLE_DENSE_OPTIMIZE=1 && \
export VLLM_ASCEND_ENABLE_FLASHCOMM=1 && \
export VLLM_ASCEND_ENABLE_PREFETCH_MLP=1 && \
export HCCL_BUFFSIZE=8192 && \
export OMP_PROC_BIND=false && \
export OMP_NUM_THREADS=8 && \
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True && \
export HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=TRUE && \
python -m vllm.entrypoints.openai.api_server \
--model=/models/Qwen2.5-72B-GeoGPT \
--served-model-name GeoGPT/Qwen2.5-72B-GeoGPT \
--trust-remote-code \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 4 \
--max-model-len 20480 \
--max-num-seqs 64 \
--block-size 256 \
--distributed-executor-backend mp \
--enable-prefix-caching \
--async-scheduling \
--gpu-memory-utilization 0.9 \
--max-num-batched-tokens 20480 \
--compilation-config "{\"cudagraph_mode\": \"FULL_DECODE_ONLY\",\"cudagraph_capture_sizes\": [1,4,8,12,16,20,24,28,32,36,40,44,48,52,56,60,64,128]}" \
--additional-config "{\"weight_prefetch_config\": {\"enabled\": \"True\"},\"prefetch_ratio\": {\"attn\": {\"qkv\": 1.0, \"o\": 1.0}, \"moe\": {\"gate_up\": 0.8}}}" \
> /root/vllm_serve_opt.log 2>&1'命令与 4 卡仅两处差异:
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 # 全部 8 卡
--tensor-parallel-size 8 # TP=8,权重每卡 ~18GB其余参数(env vars、compilation-config、additional-config、block-size 256 等)保持一致。
| 参数/环境变量 | 作用 |
|---|---|
--compilation-config(cudagraph_mode: FULL_DECODE_ONLY + 多档 capture sizes) | decode 阶段全图捕获,消除算子下发开销 |
--async-scheduling | 异步调度,消除 GPU 调度空档 |
VLLM_ASCEND_ENABLE_PREFETCH_MLP + weight_prefetch_config | MLP 权重预取,降低单 token 生成延迟 |
VLLM_ASCEND_ENABLE_FLASHCOMM | 启用 FlashComm 通信加速 |
HCCL_OP_EXPANSION_MODE=AIV | HCCL 算子扩展模式 |
HCCL_BUFFSIZE=8192 | 增大 HCCL 通信缓冲 |
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True | 显存扩容分配,减少显存碎片 |
--enable-prefix-caching | 前缀缓存,共享前缀复用 |
--block-size 256 | 更大 KV block,适配长上下文 |
TASK_QUEUE_ENABLE=1 / VLLM_USE_V1=1 | 启用 v1 引擎任务队列 |
curl http://<宿主机IP>:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "GeoGPT/Qwen2.5-72B-GeoGPT",
"messages": [
{"role": "system", "content": "你是 GeoGPT,一个地理科学领域的大语言模型。"},
{"role": "user", "content": "请简要介绍中国的地形地貌特征。"}
],
"max_tokens": 512,
"temperature": 0.7,
"top_p": 0.9
}'性能对比使用 random 数据集(512 in / 256 out,40 prompts,并发 8),在 4 卡 TP=4 下分别采集基线(默认配置)与优化配置(§4.2)的指标:
# 基线轮:使用默认参数启动
# 优化轮:使用 §4.2 完整优化参数启动
# 对比指标:Output/Total/Request 吞吐、TTFT、TPOT、E2EL、成功率vllm-ascend:v0.18.0GeoGPT/Qwen2.5-72B-GeoGPT(BF16,TP=4)| 指标 | 基线(默认配置 TP=4) | 优化配置(TP=4) | 提升 |
|---|---|---|---|
| Output 吞吐 (tok/s) | 96.79 | 154.56 | +59.7% |
| Total 吞吐 (tok/s) | 286.32 | 457.23 | +59.7% |
| Request 吞吐 (req/s) | 0.37 | 0.59 | +59.5% |
| Mean TTFT (ms) | 479.42 | 421.50 | -12.1% |
| Median TTFT (ms) | 346.23 | 270.57 | -21.8% |
| P99 TTFT (ms) | 1182.45 | 1037.00 | -12.3% |
| Mean TPOT (ms) | 76.75 | 47.61 | -38.0% |
| P99 TPOT (ms) | 78.03 | 49.61 | -36.4% |
| Mean E2EL (ms) | 20403.21 | 12793.48 | -37.3% |
| 成功率 | 40/40 | 40/40 | — |
结论:吞吐 +60%,TTFT 降低 12-22%,TPOT(单 token 生成延迟)降低 38%,端到端时延降低 37%。
主要收益来源:
--compilation-config:cudagraph_mode: FULL_DECODE_ONLY + 多档 capture sizes(decode 阶段全图捕获)--async-scheduling:消除 GPU 调度空档VLLM_ASCEND_ENABLE_PREFETCH_MLP + weight_prefetch_config:MLP 权重预取VLLM_ASCEND_ENABLE_FLASHCOMM、HCCL_OP_EXPANSION_MODE=AIV、HCCL_BUFFSIZE:HCCL/FlashComm 通信优化PYTORCH_NPU_ALLOC_CONF=expandable_segments:True:显存扩容分配| 部署形态 | 卡数 | 权重每卡 | 前提条件 | 状态 |
|---|---|---|---|---|
| TP=4(推荐) | 4 | ~34GB | 4 卡空闲 | ✅ 已验证(§5.2 性能数据) |
| TP=8 | 8 | ~18GB | 8 卡全空闲(每卡 ≥54.86GB 可用) | ✅ 命令等价(仅卡数/TP 差异) |
TP=8 需 8 卡全部空闲,
--gpu-memory-utilization 0.9要求每卡可用显存 ≥54.86GB;命令与 4 卡仅ASCEND_RT_VISIBLE_DEVICES与--tensor-parallel-size两处差异。
Q1:容器内 torch.npu.device_count()==0,npu-smi 报 dcmi model initialized failed, because the device is used (ret=-8020)?
A:未加 --privileged。Ascend Docker Runtime 的设备 cgroup 会判定设备被其他容器占用,需在启动容器时加 --privileged(参见 §3.4)。
Q2:ASCEND_VISIBLE_DEVICES 指定了卡,但部署时仍用到全部卡?
A:--privileged 下容器创建时的 ASCEND_VISIBLE_DEVICES 不生效(运行时跳过设备过滤)。限制卡必须用 exec 时的 ASCEND_RT_VISIBLE_DEVICES(参见 §4.2)。
Q3:为什么不能加 --quantization ascend?
A:GeoGPT 权重为原生 BF16。--quantization ascend 仅适用于 W8A8 量化权重,BF16 模型使用会报错。
Q4:TP 如何选择,4 还是 8?
A:8卡性能比4卡会更好,需要极致性能可以选择8卡。