Ascend-SACT/DeepSeek-V4.1-Flash-1017-w8a8
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

DeepSeek-V4.1-Flash-1017 2机A3 PD分离部署指导


1. 模型概述

DeepSeek-V4.1-Flash 是一个原生多模态混合专家(MoE)模型,主干参数量 552B,上下文长度最高 100 万 token。采用 40 层因果编码器-解码器(CED)架构(20 层因果编码器 + 20 层解码器),Prefill 阶段每 token 激活 8B 参数、Decode 阶段激活 16B 参数。模型引入压缩稀疏注意力 2(CSA2)、FP4 主 KV 缓存、SWA 有界重放、单遍 mHC、Engram 条件记忆与 DSpark 投机解码,将全局 KV 缓存占用降至每 token 890 字节,接受文本与图像输入,并支持 1~100 连续可调的推理强度。

本次使用 1017 版 W8A8 量化 checkpoint(DeepSeek-V4.1-Flash-1017-w8a8,含 DSpark draft 参数与 INT8 Engram 表),A3 平台按官方要求走 model runner V1(VLLM_USE_V2_MODEL_RUNNER=0)。

参考链接:

  • 模型权重(ModelScope):https://modelscope.cn/models/deepseek-ai/DeepSeek-V4.1-Flash-1017
  • 部署参考(官方文档):https://docs.vllm.ai/projects/ascend/zh-cn/v0.30.0rc2/tutorials/models/DeepSeek-V4.1-Flash.html
  • vllm-ascend 仓库:https://github.com/vllm-project/vllm-ascend
  • 技术报告:https://arxiv.org/abs/2609.19969
  • 许可证:MIT

部署配置

项值
模型(量化版)DeepSeek-V4.1-Flash-1017-w8a8(W8A8,--quantization ascend)
served-model-namedsv41_flash
max_model_len1048576
投机解码DSpark,num_speculative_tokens=5(P/D 均启用)
推理解析 / 工具调用--reasoning-parser deepseek_v41 / --tool-call-parser deepseek_v41 / --enable-auto-tool-choice
推理档位模型原生支持 1~100 可调
block size128
tokenizer 模式deepseek_v41

2. 硬件信息

2.1 单机硬件

项型号数量(单机)规格
服务器Atlas 800I A32超节点间通过 HCCS 互联(无 RoCE 交换机)
NPUAscend 910C8 张(16 逻辑设备)每卡 128GB HBM(每卡 2 die)
CPUaarch64640 逻辑 CPU 核/台—
内存DDR2.0 TiB/台—
NPU 驱动 / AscendHDK25.5.0——

2.2 集群拓扑

节点IP(管理网)角色NPU 配置
node2x.x.x.2Prefill(P) + Proxy16 逻辑设备 → 4 DP × TP4(EP16),引擎 API 4 个连续端口
node3x.x.x.3Decode(D)16 逻辑设备 → 8 DP × TP2(EP16),引擎 API 8 个连续端口

共 2 机 32 逻辑设备。节点间跨节点 KV 传输走 HCCS/UB,没有 RoCE 网口——这一点对启动脚本环境变量有直接影响(见 §4.7 坑 1)。


3. 软件信息

软件版本
Docker 镜像quay.io/ascend/vllm-ascend:v0.30.0rc2-a3
AscendHDK25.5.0
CANN9.2.0
vLLM0.30.0
vllm-ascend0.30.0
PyTorch(torch_npu)2.10.0+cpu(2.10.0.post7)
transformers5.14.1
Python3.12.13
KV 传输组件mooncake-transfer-engine-npu 0.3.11.post1
压测工具vllm bench serve(vLLM 0.30.0 自带,OpenAI 兼容后端)

4. 环境搭建与代码准备

4.1 整体部署架构

                                    ┌─────────────────────────────────┐
   client ──── OpenAI 兼容请求 ────▶│  负载均衡 Proxy                  │
   (curl / OpenAI SDK)              │  x.x.x.2 : <PORT-PROXY>         │
                                    └───────┬─────────────────┬──────┘
                            prefill 分发      │                 │  decode 分发
                                             ▼                 ▼
        ┌──────────────────────────────────┐   ┌──────────────────────────────────┐
        │ Prefill 节点  x.x.x.2 (P)        │   │ Decode 节点  x.x.x.3 (D)          │
        │ 4 引擎: DP4 × TP4 (EP16)         │   │ 8 引擎: DP8 × TP2 (EP16)          │
        │ API: <PORT-P-API> ~ <PORT-P-API+3>│   │ API: <PORT-D-API> ~ <PORT-D-API+7>│
        │ kv_producer  KV 基端口 <PORT-KV-P>│   │ kv_consumer  KV 基端口 <PORT-KV-D>│
        └──────────────────────────────────┘   └──────────────────────────────────┘
                 ▲  P 完成 prefill 后,经 MooncakeHybridConnector 把 KV cache
                 └──────────────── 经 HCCS/UB 直传到对应 D 引擎(device 显存) ──────┘
  • P 节点(x.x.x.2):DP4 × TP4,16 逻辑设备切成 4 组,每组 4 卡 1 个 vllm 引擎;DP master 地址 x.x.x.2,DP 协调端口 <PORT-DP-RPC>。
  • D 节点(x.x.x.3):DP8 × TP2,16 逻辑设备切成 8 组,每组 2 卡 1 个 vllm 引擎;DP master 地址 x.x.x.3,复用同一 <PORT-DP-RPC>(角色分属不同机器,端口可重复)。
  • KV 传输:MooncakeHybridConnector,P=kv_producer(KV 基端口 <PORT-KV-P>)、D=kv_consumer(KV 基端口 <PORT-KV-D>);kv_connector_extra_config 拓扑两端必须一致:prefill {dp_size:4, tp_size:4} / decode {dp_size:8, tp_size:2}。
  • Proxy:部署在 P 节点,监听 <PORT-PROXY>,前端注册 4 个 prefill + 8 个 decode 端点。

4.2 镜像下载与容器创建

在 x.x.x.2 与 x.x.x.3 两台宿主机上分别执行(容器名不同,其余一致):

# 1) 加载镜像(若用 pull 则 docker pull quay.io/ascend/vllm-ascend:v0.30.0rc2-a3)
docker load -i /path/to/vllm-ascend v0.30.0rc2-a3 镜像 tar 包路径
or
docker pull quay.io/ascend/vllm-ascend:v0.30.0rc2-a3

# 2) P 节点容器 (x.x.x.2 宿主机)
export IMAGE=quay.io/ascend/vllm-ascend:v0.30.0rc2-a3
docker run \
    --name deepseekv4.1_flash_pd_mooncake_pnode \
    --shm-size=512g \
    --net=host \
    --privileged=true \
    --device /dev/davinci0  --device /dev/davinci1  --device /dev/davinci2 \
    --device /dev/davinci3  --device /dev/davinci4  --device /dev/davinci5 \
    --device /dev/davinci6  --device /dev/davinci7  --device /dev/davinci8 \
    --device /dev/davinci9  --device /dev/davinci10 --device /dev/davinci11 \
    --device /dev/davinci12 --device /dev/davinci13 --device /dev/davinci14 \
    --device /dev/davinci15 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /etc/hccn.conf:/etc/hccn.conf \
    -v /root/.cache:/root/.cache \
    -v /data/hwtest_0413/:/workspace \
    -v /data/to/model:/data/to/model \
    -itd $IMAGE bash

# 3) D 节点容器 (x.x.x.3 宿主机):同上,仅容器名换为 deepseekv4.1_flash_pd_mooncake_dnode

# 4) 进入容器
docker exec -it deepseekv4.1_flash_pd_mooncake_pnode bash   # P 节点
docker exec -it deepseekv4.1_flash_pd_mooncake_dnode bash   # D 节点

4.3 模型权重准备

  • 容器内路径(两台机器必须完全一致,且容器内可读):
/workspace/model/DeepSeek-V4.1-Flash-1017-w8a8
  • 下载方式: modelscope download --model Eco-Tech/DeepSeek-V4.1-Flash-w8a8
  • 权重加载已开多线程加速:--model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' + --safetensors-load-strategy lazy

4.4 代码与启动脚本准备

工作目录(两节点相同):/workspace/deepseekv41_flash/1017_pd_separation_deployment

文件作用
creat_docker_pnode.sh / creat_docker_dnode.shP/D 容器创建(§4.2 命令来源)
run_dp_template_pnode.sh / run_dp_template_dnode.sh单 DP rank 的 vllm serve 模板;位置参数 $1=可见设备 $2=API 端口 $3=dp_size $4=dp_rank $5=dp_address $6=dp_rpc_port $7=tp_size
launch_online_dp_pnode.py / launch_online_dp_dnode.pyDP 启动器:按 rank 切分可见卡、拉起 N 个 vllm 子进程;支持 SIGTERM 优雅停止(120s 宽限后 KILL)、僵尸检测、退出码传播
run_dnode.sh / run_pnode.sh引擎启动入口(nohup 后台 + pid 文件 + 日志重定向)
run_proxy_pnode.sh负载均衡 Proxy 启动入口(nohup 后台 + pid + 日志)
load_balance_proxy_server_example.pyPD 负载均衡 proxy(OpenAI 兼容,/v1/completions、/v1/chat/completions、/healthcheck)
check_pnode.sh / check_dnode.sh各引擎 API 端口健康检查 + proxy healthcheck
stop_proxy.sh / stop_pnode.sh / stop_dnode.sh / stop_all.sh停止脚本(pid 文件 + 进程树清理 + 孤儿进程兜底)
log/ / pid/运行日志与 pid 文件

关键引擎参数(P/D 对照):

项Prefill (P)Decode (D)
DP × TP(每节点)4 × 48 × 2
--max-num-batched-tokens8192512
--max-num-seqs1664
--gpu-memory-utilization0.95(TP4 单卡权重 42.97GiB,0.9 时 KV 余量 4.32GiB < 1M 所需 4.85GiB,启动即报错;见 §4.7 坑 3)0.95
prefix caching开(--enable-prefix-caching)关(--no-enable-prefix-caching + recompute_scheduler_enable 重算调度器)
执行模式--enforce-eager--async-scheduling + FULL_DECODE_ONLY ACL Graph(enable_npugraph_ex: true)
投机解码dspark ×5,enforce_eager: truedspark ×5,enforce_eager: true
kv_role / KV 基端口kv_producer / <PORT-KV-P>(engine_id: "0")kv_consumer / <PORT-KV-D>(engine_id: "1")
关键环境变量VLLM_USE_V2_MODEL_RUNNER=0、HCCL_OP_EXPANSION_MODE=AIV、HCCL_BUFFSIZE=2560、VLLM_ENGINE_READY_TIMEOUT_S=3600、ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}'、ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'、TASK_QUEUE_ENABLE=1、jemalloc LD_PRELOAD同左(HCCL_BUFFSIZE=2400,无 VLLM_PREFIX_CACHE_RETENTION_INTERVAL)
additional-config(MoE/通信)enable_cpu_binding、enable_fused_mc2:1、enable_dsa_cp、enable_flashcomm1、enable_shared_expert_dpenable_cpu_binding、multistream_overlap_shared_expert、scheduler_config.recompute_scheduler_enable、ascend_compilation_config{enable_npugraph_ex, enable_static_kernel:false}

⚠️ A3 专属:模板中不得出现 HCCL_INTRA_ROCE_ENABLE=1(该变量仅适用 A2;A3 无 RoCE 口,带上会在启动期或跨节点 KV connect 阶段报 EI0009: The network port is down,见 §4.7 坑 1)。

  • run_dp_template_pnode.sh 脚本
# run_dp_template_pnode.sh
# $1=NPU devices  $2=port  $3=dp_size  $4=dp_rank  $5=dp_address  $6=dp_rpc_port  $7=tp_size
nic_name="xxxx" # change to your own nic name
local_ip=x.x.x.2 # change to your own ip (prefill node)

export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}'
export ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=2560
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
if [[ -f /usr/lib/aarch64-linux-gnu/libjemalloc.so.2 ]]; then
  export LD_PRELOAD="/usr/lib/aarch64-linux-gnu/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
elif [[ -f /usr/lib64/libjemalloc.so.2 ]]; then
  export LD_PRELOAD="/usr/lib64/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
fi
export ASCEND_RT_VISIBLE_DEVICES=$1
export VLLM_PREFIX_CACHE_RETENTION_INTERVAL=4096
export PYTHONHASHSEED=0

exec vllm serve /workspace/model/DeepSeek-V4.1-Flash-1017-w8a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv41_flash \
    --max-model-len 1048576 \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 16 \
    --no-disable-hybrid-kv-cache-manager \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --safetensors-load-strategy lazy \
    --enable-prefix-caching \
    --speculative-config '{"num_speculative_tokens": 5,"method": "dspark","enforce_eager": true}' \
    --trust-remote-code \
    --block-size 128 \
    --tokenizer-mode deepseek_v41 \
    --tool-call-parser deepseek_v41 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v41 \
    --gpu-memory-utilization 0.95 \
    --quantization ascend \
    --enforce-eager \
    --additional-config '{
        "enable_cpu_binding":true,
        "enable_fused_mc2":1,
        "enable_dsa_cp":true,
        "enable_flashcomm1":true,
        "enable_shared_expert_dp":true
    }' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeHybridConnector",
    "kv_role": "kv_producer",
    "kv_port": "30000",
    "engine_id": "0",
    "kv_connector_extra_config": {
        "prefill": {
                "dp_size": 4,
                "tp_size": 4
        },
        "decode": {
                "dp_size": 8,
                "tp_size": 2
        }
    }
}' \
    --engram-config '{"cpu_offload":true,"dp_shared_memory":true}'
  • run_dp_template_dnode.sh 脚本
# run_dp_template_dnode.sh
# $1=NPU devices  $2=port  $3=dp_size  $4=dp_rank  $5=dp_address  $6=dp_rpc_port  $7=tp_size
nic_name="xxxx" # change to your own nic name
local_ip=x.x.x.3 # change to your own ip (decode node)

export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}'
export ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=2400
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
if [[ -f /usr/lib/aarch64-linux-gnu/libjemalloc.so.2 ]]; then
  export LD_PRELOAD="/usr/lib/aarch64-linux-gnu/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
elif [[ -f /usr/lib64/libjemalloc.so.2 ]]; then
  export LD_PRELOAD="/usr/lib64/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
fi
export ASCEND_RT_VISIBLE_DEVICES=$1
export PYTHONHASHSEED=0

exec vllm serve /workspace/model/DeepSeek-V4.1-Flash-1017-w8a8 \
    --host 0.0.0.0 \
    --port $2 \
    --data-parallel-size $3 \
    --data-parallel-rank $4 \
    --data-parallel-address $5 \
    --data-parallel-rpc-port $6 \
    --tensor-parallel-size $7 \
    --enable-expert-parallel \
    --seed 1024 \
    --served-model-name dsv41_flash \
    --max-model-len 1048576 \
    --max-num-batched-tokens 512 \
    --max-num-seqs 64 \
    --async-scheduling \
    --no-disable-hybrid-kv-cache-manager \
    --no-enable-prefix-caching \
    --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
    --safetensors-load-strategy lazy \
    --speculative-config '{"num_speculative_tokens": 5,"method": "dspark","enforce_eager": true}' \
    --trust-remote-code \
    --block-size 128 \
    --tokenizer-mode deepseek_v41 \
    --tool-call-parser deepseek_v41 \
    --enable-auto-tool-choice \
    --reasoning-parser deepseek_v41 \
    --gpu-memory-utilization 0.95 \
    --quantization ascend \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
    --kv-transfer-config \
    '{"kv_connector": "MooncakeHybridConnector",
    "kv_role": "kv_consumer",
    "kv_port": "30100",
    "engine_id": "1",
    "kv_connector_extra_config": {
        "prefill": {
                "dp_size": 4,
                "tp_size": 4
        },
        "decode": {
                "dp_size": 8,
                "tp_size": 2
        }
    }
}' \
    --engram-config '{"cpu_offload":true,"dp_shared_memory":true}' \
    --additional-config '{
        "enable_cpu_binding":true,
        "multistream_overlap_shared_expert":true,
        "scheduler_config":{"recompute_scheduler_enable":true},
        "ascend_compilation_config":{
            "enable_npugraph_ex":true,
            "enable_static_kernel":false
        }
    }'

4.5 端口配置

端口段规划(占位符全文一致):

端口段协议用途说明
<PORT-P-API> 起 4 个连续端口TCPP 引擎 API每 DP rank 1 个端口,proxy 逐个注册
<PORT-D-API> 起 8 个连续端口TCPD 引擎 API同上
<PORT-PROXY>(单端口)TCP负载均衡 proxy 入口部署在 x.x.x.2
<PORT-DP-RPC>(单端口)TCPDP rank 协调两节点角色独立,可复用同值
<PORT-KV-P> 基端口 + rank 偏移段TCPP 侧 KV 握手/传输connector 按 DP/TP rank 自动加偏移,必须整段放通
<PORT-KV-D> 基端口 + rank 偏移段TCPD 侧 KV 握手/传输同上
mooncake P2P 随机传输端口段TCPmooncake P2P 实际数据通道随机端口:initialize() 指定端口被忽略,实际监听端口由 get_rpc_port() 协商通告,宿主机需放通较宽高端段

两节点宿主机均执行(在 firewalld 开放区):

firewall-cmd --zone=public --permanent --add-port=<PORT-P-API>-<PORT-P-API+3>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-D-API>-<PORT-D-API+7>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-PROXY>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-DP-RPC>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-KV-P>..<PORT-KV-P-END>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-KV-D>..<PORT-KV-D-END>/tcp
# <PORT-KV-x-END> = 基端口 + 最大 rank 偏移(prefill 4×4 / decode 8×2 拓扑下的偏移上限,按实际放通的宽段补充)
# mooncake P2P 随机端口:按实际放通的宽段补充
firewall-cmd --reload

⚠️ 只开单端口不够,必须整段放通(KV 基端口带 rank 偏移 + mooncake P2P 随机端口)。 漏放通症状:引擎能起、请求能返回,但输出退化/循环乱码,dnode 日志出现 Mooncake transfer failed for request ... ret=-1 / EI0009,请求最终由 recompute 兜底完成但结果错误。

连通性自检(在 P 节点容器内对 D 节点;反向同理):

timeout 3 bash -c 'echo > /dev/tcp/x.x.x.3/<PORT-D-API>' 2>/dev/null && echo OPEN || echo BLOCKED
timeout 3 bash -c 'echo > /dev/tcp/x.x.x.2/<PORT-PROXY>' 2>/dev/null && echo OPEN || echo BLOCKED

判读:

  • Connection refused(errno 111)= 网络已通、目标端口暂无监听(引擎未起时属正常);
  • No route to host(errno 113)= 防火墙未放通,按 §4.5 补齐;
  • 引擎就绪后对 API 端口应得到 OPEN。

4.7 启动步骤(按顺序执行)

顺序:D 节点 → P 节点 → Proxy。

Step 1:启动 Decode(在 x.x.x.3 容器内)

cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./run_dnode.sh        # 内部: nohup python launch_online_dp_dnode.py --dp-size 8 --tp-size 2 --dp-size-local 8 --dp-rank-start 0 --dp-address x.x.x.3 --dp-rpc-port <PORT-DP-RPC> --vllm-start-port <PORT-D-API>
  • 日志:log/pd_dnode_dsv41_flash_mooncake_1017.log
  • 完成标志:8 个引擎全部就绪——
    for i in 0 1 2 3 4 5 6 7; do
        until curl --noproxy '*' -fsS "http://x.x.x.3:<PORT-D-API+i>/health"; do sleep 5; done
        echo "engine $i ready"
    done
    且日志 8 处出现 Application startup complete.。

Step 2:启动 Prefill(在 x.x.x.2 容器内)

cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./run_pnode.sh        # 内部: nohup python launch_online_dp_pnode.py --dp-size 4 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address x.x.x.2 --dp-rpc-port <PORT-DP-RPC> --vllm-start-port <PORT-P-API>
  • 日志:log/pd_pnode_dsv41_flash_mooncake_1017.log
  • 完成标志:4 个引擎 <PORT-P-API+i> (i=0..3) /health 200,日志 4 处 Application startup complete.。

Step 3:启动 Proxy(在 x.x.x.2 容器内,两节点引擎全部就绪后)

cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./run_proxy_pnode.sh   # 内部: nohup python load_balance_proxy_server_example.py --host x.x.x.2 --port <PORT-PROXY> --prefiller-hosts x.x.x.2×4 --prefiller-ports <PORT-P-API>..+3 --decoder-hosts x.x.x.3×8 --decoder-ports <PORT-D-API>..+7
  • 日志:log/pd_proxy_dsv41_flash_mooncake_1017.log
  • 完成标志:curl http://x.x.x.2:<PORT-PROXY>/healthcheck 返回 200,prefill 端点数 = 4、decode 端点数 = 8。

常见坑:

  1. EI0009: The network port is down(启动期或跨节点 KV connect 期):A3 无 RoCE 口,模板里若带 HCCL_INTRA_ROCE_ENABLE=1(官方 5.4 文档面向 A2 的设置)必然触发。修复:移除该变量,并保留 ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}' + ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'(vllm-ascend issue #19881 社区方案)。
  2. 请求能返回但输出退化循环 + dnode 日志 Mooncake transfer failed:KV 传输段/随机端口未放通(见 §4.5 症状),补齐防火墙后恢复;传输正常时 dnode 日志应见 KV cache transfer for request ... took 149.00~247.74 ms。
  3. P 节点启动即 ValueError: To serve at least one request with the model's max seq len (1048576), (4.85 GiB KV cache is needed, which is larger than the available KV cache memory (4.32 GiB)):TP4 单卡权重 42.97GiB,--gpu-memory-utilization 0.9 时 KV 余量不足 1M 下限。修复:P 节点 --gpu-memory-utilization 0.95(与 D 一致);或降 --max-model-len ≤ 915456。
  4. KV 两端拓扑必须一致:connector extra_config 的 prefill {dp:4, tp:4} / decode {dp:8, tp:2} 在 P、D 两个模板中必须相同,否则 KV layout 不匹配。

4.8 验证

① 各引擎健康(P 节点容器内)

for i in 0 1 2 3; do curl -fsS "http://x.x.x.2:<PORT-P-API+i>/v1/models"; echo; done
for i in 0 1 2 3 4 5 6 7; do curl -fsS "http://x.x.x.3:<PORT-D-API+i>/v1/models"; echo; done

期望:每个响应含 "id": "dsv41_flash"。

② Proxy 健康

curl -fsS "http://x.x.x.2:<PORT-PROXY>/healthcheck"

期望:HTTP 200,prefill 端点数 4、decode 端点数 8。

③ 端到端请求(经 proxy)

curl -fsS http://x.x.x.2:<PORT-PROXY>/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "dsv41_flash",
    "messages": [{"role": "user", "content": "用一句话介绍北京"}],
    "max_tokens": 1024
  }'

期望:content 为正常中文回答(本次实测:"北京是中国的首都,一座融合千年古都底蕴与现代国际风貌的历史文化名城。"),finish_reason=stop,端到端约 3s 量级。推理模型若触发思考,思考内容在 reasoning 字段(reasoning-parser deepseek_v41);短问答可不产生思考内容,max_tokens 建议 ≥1024。

4.9 停止服务

逆序:Proxy → Prefill → Decode:

# x.x.x.2
cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./stop_proxy.sh          # 先停 proxy, 停止接流
./stop_pnode.sh         # 优雅超时默认 180s, 超时强杀进程树
# x.x.x.3
./stop_dnode.sh

或在任一节点一次性执行 ./stop_all.sh。 完成标志:脚本输出"已停止"且无残留进程;npu-smi info 确认两节点 16 逻辑设备显存均已释放。