Ascend-SACT/Qwen2.5-72B-GeoGPT
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

GeoGPT(Qwen2.5-72B-GeoGPT)

GeoGPT/Qwen2.5-72B-GeoGPT 是基于 Qwen2.5-72B 的大语言模型(Qwen2ForCausalLM 架构,BF16,80 层,128K 上下文),权重约 136GB(32 个文件)。该模型依赖 vllm-ascend 在昇腾 NPU 上完成推理服务部署与性能调优;在完成 Ascend NPU 适配后,需要以 ASCEND_RT_VISIBLE_DEVICES 显式限制卡资源,并组合 cudagraph 全图捕获、FlashComm、MLP 权重预取等优化特性,最终实现输出吞吐 +59.7%、TPOT -38.0%、端到端时延 -37.3% 的收益。


1. 模型分析

1.1 模型架构

阶段模块说明
基础架构Qwen2ForCausalLM(80 层 Transformer decoder)基于 Qwen2.5-72B 的因果语言模型,128K 上下文窗口
权重精度BF16原生 BF16 权重,禁用 --quantization ascend(W8A8 专用)
分布式推理--tensor-parallel-size 4 / 8权重按 TP 分片到多卡,TP=8 时每卡约 18GB
前缀缓存--enable-prefix-caching共享前缀 KV 复用,降低重复计算
图编译加速--compilation-config(cudagraph_mode=FULL_DECODE_ONLY)decode 阶段全图捕获 + 多档 capture sizes
调度优化--async-scheduling异步调度,消除调度空档,提升吞吐
权重预取weight_prefetch_config + VLLM_ASCEND_ENABLE_PREFETCH_MLPMLP 权重预取,降低单 token 生成延迟
服务接口OpenAI 兼容 API(vllm.entrypoints.openai.api_server)标准 /v1/* 接口,--served-model-name 对外命名

1.2 模型规格

项目规格
任务类型大语言模型推理服务(BF16,仅推理,不提供训练)
模型架构Qwen2ForCausalLM
模型参数量72B(80 层)
上下文长度128K
权重大小~136GB(32 个文件)
框架依赖vllm-ascend 0.18.0 + torch_npu(镜像内置)+ CANN
运行设备Atlas 800I A2(Ascend 910B3)× 8
镜像版本要求vllm-ascend:v0.18.0(已验证)
CANN 版本要求8.2.RC1(镜像内 9.0.0)

2. 快速开始

2.1 模型与代码路径

路径用途
/home/models/Qwen2.5-72B-GeoGPT模型权重目录(ModelScope 下载)
/home/models/.cache/modelscopeModelScope 下载缓存
/root/logs权重下载日志与服务日志
/models容器内挂载的权重目录(对应宿主机 /home/models)

2.2 部署步骤(概览)

  1. 下载模型权重(参见 §4.1)
  2. 启动容器并挂载 NPU 设备(参见 §3.4)
  3. 4 卡优化部署 TP=4(推荐,参见 §4.2)
  4. 8 卡部署 TP=8(参见 §4.3)
  5. 性能基准测试与调优(参见 §4.4 / §4.5 / §5)
  6. 常见问题排障(参见 §6)

注:GeoGPT 权重为原生 BF16,不能加 --quantization ascend(该参数仅适用于 W8A8 量化权重)。部署时需按本机卡占用情况选择 TP=4 或 TP=8。


3. 准备运行环境

3.1 软件环境

组件版本
vllm-ascend0.18.0
CANN8.2.RC1(镜像内 9.0.0)
torch_npuvllm-ascend:v0.18.0 官方镜像内置
Python镜像自带(py3.10+)
模型GeoGPT/Qwen2.5-72B-GeoGPT(Qwen2ForCausalLM,BF16)
权重工具modelscope(modelscope download)

3.2 硬件环境

设备型号NPU 配置
Atlas 800I A2Ascend 910B3 × 8(TP=4 或 TP=8)

3.3 准备镜像

镜像环境镜像地址
官方镜像quay.nju.edu.cn/ascend/vllm-ascend:v0.18.0

3.4 启动镜像

docker run -d \
  --name vllm-ascend-geogpt \
  --privileged \
  --shm-size=1g \
  --net=host \
  -e ASCEND_VISIBLE_DEVICES=0,1,2,3 \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -v /etc/hccn.conf:/etc/hccn.conf \
  -v /home/models:/models \
  -v /root/.cache:/root/.cache \
  quay.nju.edu.cn/ascend/vllm-ascend:v0.18.0 \
  /bin/bash -c "sleep infinity"

4. 运行指导

4.1 下载模型权重

使用 ModelScope 下载 GeoGPT 权重,下载完成后共 32 个文件,约 136GB:

mkdir -p /home/models/.cache/modelscope /root/logs
nohup env MODELSCOPE_CACHE=/home/models/.cache/modelscope \
  modelscope download --model GeoGPT/Qwen2.5-72B-GeoGPT \
  --local_dir /home/models/Qwen2.5-72B-GeoGPT \
  > /root/logs/download_qwen25_72b_geogpt.log 2>&1 &

4.2 4卡优化部署

docker exec -d vllm-ascend-geogpt bash -c 'cd /models && \
  export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 && \
  export TASK_QUEUE_ENABLE=1 && \
  export VLLM_USE_V1=1 && \
  export HCCL_OP_EXPANSION_MODE="AIV" && \
  export VLLM_ASCEND_ENABLE_DENSE_OPTIMIZE=1 && \
  export VLLM_ASCEND_ENABLE_FLASHCOMM=1 && \
  export VLLM_ASCEND_ENABLE_PREFETCH_MLP=1 && \
  export HCCL_BUFFSIZE=8192 && \
  export OMP_PROC_BIND=false && \
  export OMP_NUM_THREADS=8 && \
  export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True && \
  export HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=TRUE && \
  python -m vllm.entrypoints.openai.api_server \
    --model=/models/Qwen2.5-72B-GeoGPT \
    --served-model-name GeoGPT/Qwen2.5-72B-GeoGPT \
    --trust-remote-code \
    --host 0.0.0.0 \
    --port 8000 \
    --tensor-parallel-size 4 \
    --max-model-len 20480 \
    --max-num-seqs 64 \
    --block-size 256 \
    --distributed-executor-backend mp \
    --enable-prefix-caching \
    --async-scheduling \
    --gpu-memory-utilization 0.9 \
    --max-num-batched-tokens 20480 \
    --compilation-config "{\"cudagraph_mode\": \"FULL_DECODE_ONLY\",\"cudagraph_capture_sizes\": [1,4,8,12,16,20,24,28,32,36,40,44,48,52,56,60,64,128]}" \
    --additional-config "{\"weight_prefetch_config\": {\"enabled\": \"True\"},\"prefetch_ratio\": {\"attn\": {\"qkv\": 1.0, \"o\": 1.0}, \"moe\": {\"gate_up\": 0.8}}}" \
    > /root/vllm_serve_opt.log 2>&1'

4.3 8卡部署(TP=8)

命令与 4 卡仅两处差异:

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7   # 全部 8 卡
--tensor-parallel-size 8                            # TP=8,权重每卡 ~18GB

其余参数(env vars、compilation-config、additional-config、block-size 256 等)保持一致。

4.4 性能调优参数说明

参数/环境变量作用
--compilation-config(cudagraph_mode: FULL_DECODE_ONLY + 多档 capture sizes)decode 阶段全图捕获,消除算子下发开销
--async-scheduling异步调度,消除 GPU 调度空档
VLLM_ASCEND_ENABLE_PREFETCH_MLP + weight_prefetch_configMLP 权重预取,降低单 token 生成延迟
VLLM_ASCEND_ENABLE_FLASHCOMM启用 FlashComm 通信加速
HCCL_OP_EXPANSION_MODE=AIVHCCL 算子扩展模式
HCCL_BUFFSIZE=8192增大 HCCL 通信缓冲
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True显存扩容分配,减少显存碎片
--enable-prefix-caching前缀缓存,共享前缀复用
--block-size 256更大 KV block,适配长上下文
TASK_QUEUE_ENABLE=1 / VLLM_USE_V1=1启用 v1 引擎任务队列

4.5 发请求测试

curl http://<宿主机IP>:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "GeoGPT/Qwen2.5-72B-GeoGPT",
    "messages": [
      {"role": "system", "content": "你是 GeoGPT,一个地理科学领域的大语言模型。"},
      {"role": "user", "content": "请简要介绍中国的地形地貌特征。"}
    ],
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.9
  }'

4.6 性能基准测试

性能对比使用 random 数据集(512 in / 256 out,40 prompts,并发 8),在 4 卡 TP=4 下分别采集基线(默认配置)与优化配置(§4.2)的指标:

# 基线轮:使用默认参数启动
# 优化轮:使用 §4.2 完整优化参数启动
# 对比指标:Output/Total/Request 吞吐、TTFT、TPOT、E2EL、成功率

5. 测试结果

5.1 测试环境

  • 设备:Atlas 800I A2(8 卡,Ascend 910B3)
  • 镜像:vllm-ascend:v0.18.0
  • 模型:GeoGPT/Qwen2.5-72B-GeoGPT(BF16,TP=4)
  • 数据集:random(512 in / 256 out,40 prompts,并发 8)

5.2 性能对比

指标基线(默认配置 TP=4)优化配置(TP=4)提升
Output 吞吐 (tok/s)96.79154.56+59.7%
Total 吞吐 (tok/s)286.32457.23+59.7%
Request 吞吐 (req/s)0.370.59+59.5%
Mean TTFT (ms)479.42421.50-12.1%
Median TTFT (ms)346.23270.57-21.8%
P99 TTFT (ms)1182.451037.00-12.3%
Mean TPOT (ms)76.7547.61-38.0%
P99 TPOT (ms)78.0349.61-36.4%
Mean E2EL (ms)20403.2112793.48-37.3%
成功率40/4040/40—

结论:吞吐 +60%,TTFT 降低 12-22%,TPOT(单 token 生成延迟)降低 38%,端到端时延降低 37%。

5.3 优化收益分析

主要收益来源:

  • --compilation-config:cudagraph_mode: FULL_DECODE_ONLY + 多档 capture sizes(decode 阶段全图捕获)
  • --async-scheduling:消除 GPU 调度空档
  • VLLM_ASCEND_ENABLE_PREFETCH_MLP + weight_prefetch_config:MLP 权重预取
  • VLLM_ASCEND_ENABLE_FLASHCOMM、HCCL_OP_EXPANSION_MODE=AIV、HCCL_BUFFSIZE:HCCL/FlashComm 通信优化
  • PYTORCH_NPU_ALLOC_CONF=expandable_segments:True:显存扩容分配

5.4 部署形态兼容性(TP=4 / TP=8)

部署形态卡数权重每卡前提条件状态
TP=4(推荐)4~34GB4 卡空闲✅ 已验证(§5.2 性能数据)
TP=88~18GB8 卡全空闲(每卡 ≥54.86GB 可用)✅ 命令等价(仅卡数/TP 差异)

TP=8 需 8 卡全部空闲,--gpu-memory-utilization 0.9 要求每卡可用显存 ≥54.86GB;命令与 4 卡仅 ASCEND_RT_VISIBLE_DEVICES 与 --tensor-parallel-size 两处差异。


6. 常见问题解答

Q1:容器内 torch.npu.device_count()==0,npu-smi 报 dcmi model initialized failed, because the device is used (ret=-8020)?

A:未加 --privileged。Ascend Docker Runtime 的设备 cgroup 会判定设备被其他容器占用,需在启动容器时加 --privileged(参见 §3.4)。

Q2:ASCEND_VISIBLE_DEVICES 指定了卡,但部署时仍用到全部卡?

A:--privileged 下容器创建时的 ASCEND_VISIBLE_DEVICES 不生效(运行时跳过设备过滤)。限制卡必须用 exec 时的 ASCEND_RT_VISIBLE_DEVICES(参见 §4.2)。

Q3:为什么不能加 --quantization ascend?

A:GeoGPT 权重为原生 BF16。--quantization ascend 仅适用于 W8A8 量化权重,BF16 模型使用会报错。

Q4:TP 如何选择,4 还是 8?

A:8卡性能比4卡会更好,需要极致性能可以选择8卡。