DeepSeek-V4.1-Flash 是一个原生多模态混合专家(MoE)模型,主干参数量 552B,上下文长度最高 100 万 token。采用 40 层因果编码器-解码器(CED)架构(20 层因果编码器 + 20 层解码器),Prefill 阶段每 token 激活 8B 参数、Decode 阶段激活 16B 参数。模型引入压缩稀疏注意力 2(CSA2)、FP4 主 KV 缓存、SWA 有界重放、单遍 mHC、Engram 条件记忆与 DSpark 投机解码,将全局 KV 缓存占用降至每 token 890 字节,接受文本与图像输入,并支持 1~100 连续可调的推理强度。
本次使用 1017 版 W8A8 量化 checkpoint(DeepSeek-V4.1-Flash-1017-w8a8,含 DSpark draft 参数与 INT8 Engram 表),A3 平台按官方要求走 model runner V1(VLLM_USE_V2_MODEL_RUNNER=0)。
参考链接:
| 项 | 值 |
|---|---|
| 模型(量化版) | DeepSeek-V4.1-Flash-1017-w8a8(W8A8,--quantization ascend) |
| served-model-name | dsv41_flash |
| max_model_len | 1048576 |
| 投机解码 | DSpark,num_speculative_tokens=5(P/D 均启用) |
| 推理解析 / 工具调用 | --reasoning-parser deepseek_v41 / --tool-call-parser deepseek_v41 / --enable-auto-tool-choice |
| 推理档位 | 模型原生支持 1~100 可调 |
| block size | 128 |
| tokenizer 模式 | deepseek_v41 |
| 项 | 型号 | 数量(单机) | 规格 |
|---|---|---|---|
| 服务器 | Atlas 800I A3 | 2 | 超节点间通过 HCCS 互联(无 RoCE 交换机) |
| NPU | Ascend 910C | 8 张(16 逻辑设备) | 每卡 128GB HBM(每卡 2 die) |
| CPU | aarch64 | 640 逻辑 CPU 核/台 | — |
| 内存 | DDR | 2.0 TiB/台 | — |
| NPU 驱动 / AscendHDK | 25.5.0 | — | — |
| 节点 | IP(管理网) | 角色 | NPU 配置 |
|---|---|---|---|
| node2 | x.x.x.2 | Prefill(P) + Proxy | 16 逻辑设备 → 4 DP × TP4(EP16),引擎 API 4 个连续端口 |
| node3 | x.x.x.3 | Decode(D) | 16 逻辑设备 → 8 DP × TP2(EP16),引擎 API 8 个连续端口 |
共 2 机 32 逻辑设备。节点间跨节点 KV 传输走 HCCS/UB,没有 RoCE 网口——这一点对启动脚本环境变量有直接影响(见 §4.7 坑 1)。
| 软件 | 版本 |
|---|---|
| Docker 镜像 | quay.io/ascend/vllm-ascend:v0.30.0rc2-a3 |
| AscendHDK | 25.5.0 |
| CANN | 9.2.0 |
| vLLM | 0.30.0 |
| vllm-ascend | 0.30.0 |
| PyTorch(torch_npu) | 2.10.0+cpu(2.10.0.post7) |
| transformers | 5.14.1 |
| Python | 3.12.13 |
| KV 传输组件 | mooncake-transfer-engine-npu 0.3.11.post1 |
| 压测工具 | vllm bench serve(vLLM 0.30.0 自带,OpenAI 兼容后端) |
┌─────────────────────────────────┐
client ──── OpenAI 兼容请求 ────▶│ 负载均衡 Proxy │
(curl / OpenAI SDK) │ x.x.x.2 : <PORT-PROXY> │
└───────┬─────────────────┬──────┘
prefill 分发 │ │ decode 分发
▼ ▼
┌──────────────────────────────────┐ ┌──────────────────────────────────┐
│ Prefill 节点 x.x.x.2 (P) │ │ Decode 节点 x.x.x.3 (D) │
│ 4 引擎: DP4 × TP4 (EP16) │ │ 8 引擎: DP8 × TP2 (EP16) │
│ API: <PORT-P-API> ~ <PORT-P-API+3>│ │ API: <PORT-D-API> ~ <PORT-D-API+7>│
│ kv_producer KV 基端口 <PORT-KV-P>│ │ kv_consumer KV 基端口 <PORT-KV-D>│
└──────────────────────────────────┘ └──────────────────────────────────┘
▲ P 完成 prefill 后,经 MooncakeHybridConnector 把 KV cache
└──────────────── 经 HCCS/UB 直传到对应 D 引擎(device 显存) ──────┘<PORT-DP-RPC>。<PORT-DP-RPC>(角色分属不同机器,端口可重复)。kv_producer(KV 基端口 <PORT-KV-P>)、D=kv_consumer(KV 基端口 <PORT-KV-D>);kv_connector_extra_config 拓扑两端必须一致:prefill {dp_size:4, tp_size:4} / decode {dp_size:8, tp_size:2}。<PORT-PROXY>,前端注册 4 个 prefill + 8 个 decode 端点。在 x.x.x.2 与 x.x.x.3 两台宿主机上分别执行(容器名不同,其余一致):
# 1) 加载镜像(若用 pull 则 docker pull quay.io/ascend/vllm-ascend:v0.30.0rc2-a3)
docker load -i /path/to/vllm-ascend v0.30.0rc2-a3 镜像 tar 包路径
or
docker pull quay.io/ascend/vllm-ascend:v0.30.0rc2-a3
# 2) P 节点容器 (x.x.x.2 宿主机)
export IMAGE=quay.io/ascend/vllm-ascend:v0.30.0rc2-a3
docker run \
--name deepseekv4.1_flash_pd_mooncake_pnode \
--shm-size=512g \
--net=host \
--privileged=true \
--device /dev/davinci0 --device /dev/davinci1 --device /dev/davinci2 \
--device /dev/davinci3 --device /dev/davinci4 --device /dev/davinci5 \
--device /dev/davinci6 --device /dev/davinci7 --device /dev/davinci8 \
--device /dev/davinci9 --device /dev/davinci10 --device /dev/davinci11 \
--device /dev/davinci12 --device /dev/davinci13 --device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /root/.cache:/root/.cache \
-v /data/hwtest_0413/:/workspace \
-v /data/to/model:/data/to/model \
-itd $IMAGE bash
# 3) D 节点容器 (x.x.x.3 宿主机):同上,仅容器名换为 deepseekv4.1_flash_pd_mooncake_dnode
# 4) 进入容器
docker exec -it deepseekv4.1_flash_pd_mooncake_pnode bash # P 节点
docker exec -it deepseekv4.1_flash_pd_mooncake_dnode bash # D 节点/workspace/model/DeepSeek-V4.1-Flash-1017-w8a8modelscope download --model Eco-Tech/DeepSeek-V4.1-Flash-w8a8--model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' + --safetensors-load-strategy lazy工作目录(两节点相同):/workspace/deepseekv41_flash/1017_pd_separation_deployment
| 文件 | 作用 |
|---|---|
creat_docker_pnode.sh / creat_docker_dnode.sh | P/D 容器创建(§4.2 命令来源) |
run_dp_template_pnode.sh / run_dp_template_dnode.sh | 单 DP rank 的 vllm serve 模板;位置参数 $1=可见设备 $2=API 端口 $3=dp_size $4=dp_rank $5=dp_address $6=dp_rpc_port $7=tp_size |
launch_online_dp_pnode.py / launch_online_dp_dnode.py | DP 启动器:按 rank 切分可见卡、拉起 N 个 vllm 子进程;支持 SIGTERM 优雅停止(120s 宽限后 KILL)、僵尸检测、退出码传播 |
run_dnode.sh / run_pnode.sh | 引擎启动入口(nohup 后台 + pid 文件 + 日志重定向) |
run_proxy_pnode.sh | 负载均衡 Proxy 启动入口(nohup 后台 + pid + 日志) |
load_balance_proxy_server_example.py | PD 负载均衡 proxy(OpenAI 兼容,/v1/completions、/v1/chat/completions、/healthcheck) |
check_pnode.sh / check_dnode.sh | 各引擎 API 端口健康检查 + proxy healthcheck |
stop_proxy.sh / stop_pnode.sh / stop_dnode.sh / stop_all.sh | 停止脚本(pid 文件 + 进程树清理 + 孤儿进程兜底) |
log/ / pid/ | 运行日志与 pid 文件 |
关键引擎参数(P/D 对照):
| 项 | Prefill (P) | Decode (D) |
|---|---|---|
| DP × TP(每节点) | 4 × 4 | 8 × 2 |
--max-num-batched-tokens | 8192 | 512 |
--max-num-seqs | 16 | 64 |
--gpu-memory-utilization | 0.95(TP4 单卡权重 42.97GiB,0.9 时 KV 余量 4.32GiB < 1M 所需 4.85GiB,启动即报错;见 §4.7 坑 3) | 0.95 |
| prefix caching | 开(--enable-prefix-caching) | 关(--no-enable-prefix-caching + recompute_scheduler_enable 重算调度器) |
| 执行模式 | --enforce-eager | --async-scheduling + FULL_DECODE_ONLY ACL Graph(enable_npugraph_ex: true) |
| 投机解码 | dspark ×5,enforce_eager: true | dspark ×5,enforce_eager: true |
| kv_role / KV 基端口 | kv_producer / <PORT-KV-P>(engine_id: "0") | kv_consumer / <PORT-KV-D>(engine_id: "1") |
| 关键环境变量 | VLLM_USE_V2_MODEL_RUNNER=0、HCCL_OP_EXPANSION_MODE=AIV、HCCL_BUFFSIZE=2560、VLLM_ENGINE_READY_TIMEOUT_S=3600、ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}'、ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'、TASK_QUEUE_ENABLE=1、jemalloc LD_PRELOAD | 同左(HCCL_BUFFSIZE=2400,无 VLLM_PREFIX_CACHE_RETENTION_INTERVAL) |
| additional-config(MoE/通信) | enable_cpu_binding、enable_fused_mc2:1、enable_dsa_cp、enable_flashcomm1、enable_shared_expert_dp | enable_cpu_binding、multistream_overlap_shared_expert、scheduler_config.recompute_scheduler_enable、ascend_compilation_config{enable_npugraph_ex, enable_static_kernel:false} |
⚠️ A3 专属:模板中不得出现
HCCL_INTRA_ROCE_ENABLE=1(该变量仅适用 A2;A3 无 RoCE 口,带上会在启动期或跨节点 KV connect 阶段报EI0009: The network port is down,见 §4.7 坑 1)。
# run_dp_template_pnode.sh
# $1=NPU devices $2=port $3=dp_size $4=dp_rank $5=dp_address $6=dp_rpc_port $7=tp_size
nic_name="xxxx" # change to your own nic name
local_ip=x.x.x.2 # change to your own ip (prefill node)
export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}'
export ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=2560
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
if [[ -f /usr/lib/aarch64-linux-gnu/libjemalloc.so.2 ]]; then
export LD_PRELOAD="/usr/lib/aarch64-linux-gnu/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
elif [[ -f /usr/lib64/libjemalloc.so.2 ]]; then
export LD_PRELOAD="/usr/lib64/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
fi
export ASCEND_RT_VISIBLE_DEVICES=$1
export VLLM_PREFIX_CACHE_RETENTION_INTERVAL=4096
export PYTHONHASHSEED=0
exec vllm serve /workspace/model/DeepSeek-V4.1-Flash-1017-w8a8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name dsv41_flash \
--max-model-len 1048576 \
--max-num-batched-tokens 8192 \
--max-num-seqs 16 \
--no-disable-hybrid-kv-cache-manager \
--model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
--safetensors-load-strategy lazy \
--enable-prefix-caching \
--speculative-config '{"num_speculative_tokens": 5,"method": "dspark","enforce_eager": true}' \
--trust-remote-code \
--block-size 128 \
--tokenizer-mode deepseek_v41 \
--tool-call-parser deepseek_v41 \
--enable-auto-tool-choice \
--reasoning-parser deepseek_v41 \
--gpu-memory-utilization 0.95 \
--quantization ascend \
--enforce-eager \
--additional-config '{
"enable_cpu_binding":true,
"enable_fused_mc2":1,
"enable_dsa_cp":true,
"enable_flashcomm1":true,
"enable_shared_expert_dp":true
}' \
--kv-transfer-config \
'{"kv_connector": "MooncakeHybridConnector",
"kv_role": "kv_producer",
"kv_port": "30000",
"engine_id": "0",
"kv_connector_extra_config": {
"prefill": {
"dp_size": 4,
"tp_size": 4
},
"decode": {
"dp_size": 8,
"tp_size": 2
}
}
}' \
--engram-config '{"cpu_offload":true,"dp_shared_memory":true}'
# run_dp_template_dnode.sh
# $1=NPU devices $2=port $3=dp_size $4=dp_rank $5=dp_address $6=dp_rpc_port $7=tp_size
nic_name="xxxx" # change to your own nic name
local_ip=x.x.x.3 # change to your own ip (decode node)
export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_ENGINE_READY_TIMEOUT_S=3600
export ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}'
export ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'
export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name
export VLLM_RPC_TIMEOUT=3600000
export VLLM_EXECUTE_MODEL_TIMEOUT_SECONDS=30000
export HCCL_EXEC_TIMEOUT=204
export HCCL_CONNECT_TIMEOUT=1200
export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=2400
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE="AIV"
if [[ -f /usr/lib/aarch64-linux-gnu/libjemalloc.so.2 ]]; then
export LD_PRELOAD="/usr/lib/aarch64-linux-gnu/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
elif [[ -f /usr/lib64/libjemalloc.so.2 ]]; then
export LD_PRELOAD="/usr/lib64/libjemalloc.so.2${LD_PRELOAD:+:$LD_PRELOAD}"
fi
export ASCEND_RT_VISIBLE_DEVICES=$1
export PYTHONHASHSEED=0
exec vllm serve /workspace/model/DeepSeek-V4.1-Flash-1017-w8a8 \
--host 0.0.0.0 \
--port $2 \
--data-parallel-size $3 \
--data-parallel-rank $4 \
--data-parallel-address $5 \
--data-parallel-rpc-port $6 \
--tensor-parallel-size $7 \
--enable-expert-parallel \
--seed 1024 \
--served-model-name dsv41_flash \
--max-model-len 1048576 \
--max-num-batched-tokens 512 \
--max-num-seqs 64 \
--async-scheduling \
--no-disable-hybrid-kv-cache-manager \
--no-enable-prefix-caching \
--model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
--safetensors-load-strategy lazy \
--speculative-config '{"num_speculative_tokens": 5,"method": "dspark","enforce_eager": true}' \
--trust-remote-code \
--block-size 128 \
--tokenizer-mode deepseek_v41 \
--tool-call-parser deepseek_v41 \
--enable-auto-tool-choice \
--reasoning-parser deepseek_v41 \
--gpu-memory-utilization 0.95 \
--quantization ascend \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
--kv-transfer-config \
'{"kv_connector": "MooncakeHybridConnector",
"kv_role": "kv_consumer",
"kv_port": "30100",
"engine_id": "1",
"kv_connector_extra_config": {
"prefill": {
"dp_size": 4,
"tp_size": 4
},
"decode": {
"dp_size": 8,
"tp_size": 2
}
}
}' \
--engram-config '{"cpu_offload":true,"dp_shared_memory":true}' \
--additional-config '{
"enable_cpu_binding":true,
"multistream_overlap_shared_expert":true,
"scheduler_config":{"recompute_scheduler_enable":true},
"ascend_compilation_config":{
"enable_npugraph_ex":true,
"enable_static_kernel":false
}
}'
端口段规划(占位符全文一致):
| 端口段 | 协议 | 用途 | 说明 |
|---|---|---|---|
<PORT-P-API> 起 4 个连续端口 | TCP | P 引擎 API | 每 DP rank 1 个端口,proxy 逐个注册 |
<PORT-D-API> 起 8 个连续端口 | TCP | D 引擎 API | 同上 |
<PORT-PROXY>(单端口) | TCP | 负载均衡 proxy 入口 | 部署在 x.x.x.2 |
<PORT-DP-RPC>(单端口) | TCP | DP rank 协调 | 两节点角色独立,可复用同值 |
<PORT-KV-P> 基端口 + rank 偏移段 | TCP | P 侧 KV 握手/传输 | connector 按 DP/TP rank 自动加偏移,必须整段放通 |
<PORT-KV-D> 基端口 + rank 偏移段 | TCP | D 侧 KV 握手/传输 | 同上 |
| mooncake P2P 随机传输端口段 | TCP | mooncake P2P 实际数据通道 | 随机端口:initialize() 指定端口被忽略,实际监听端口由 get_rpc_port() 协商通告,宿主机需放通较宽高端段 |
两节点宿主机均执行(在 firewalld 开放区):
firewall-cmd --zone=public --permanent --add-port=<PORT-P-API>-<PORT-P-API+3>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-D-API>-<PORT-D-API+7>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-PROXY>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-DP-RPC>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-KV-P>..<PORT-KV-P-END>/tcp
firewall-cmd --zone=public --permanent --add-port=<PORT-KV-D>..<PORT-KV-D-END>/tcp
# <PORT-KV-x-END> = 基端口 + 最大 rank 偏移(prefill 4×4 / decode 8×2 拓扑下的偏移上限,按实际放通的宽段补充)
# mooncake P2P 随机端口:按实际放通的宽段补充
firewall-cmd --reload⚠️ 只开单端口不够,必须整段放通(KV 基端口带 rank 偏移 + mooncake P2P 随机端口)。 漏放通症状:引擎能起、请求能返回,但输出退化/循环乱码,dnode 日志出现
Mooncake transfer failed for request ... ret=-1/EI0009,请求最终由 recompute 兜底完成但结果错误。
连通性自检(在 P 节点容器内对 D 节点;反向同理):
timeout 3 bash -c 'echo > /dev/tcp/x.x.x.3/<PORT-D-API>' 2>/dev/null && echo OPEN || echo BLOCKED
timeout 3 bash -c 'echo > /dev/tcp/x.x.x.2/<PORT-PROXY>' 2>/dev/null && echo OPEN || echo BLOCKED判读:
Connection refused(errno 111)= 网络已通、目标端口暂无监听(引擎未起时属正常);No route to host(errno 113)= 防火墙未放通,按 §4.5 补齐;OPEN。顺序:D 节点 → P 节点 → Proxy。
Step 1:启动 Decode(在 x.x.x.3 容器内)
cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./run_dnode.sh # 内部: nohup python launch_online_dp_dnode.py --dp-size 8 --tp-size 2 --dp-size-local 8 --dp-rank-start 0 --dp-address x.x.x.3 --dp-rpc-port <PORT-DP-RPC> --vllm-start-port <PORT-D-API>log/pd_dnode_dsv41_flash_mooncake_1017.logfor i in 0 1 2 3 4 5 6 7; do
until curl --noproxy '*' -fsS "http://x.x.x.3:<PORT-D-API+i>/health"; do sleep 5; done
echo "engine $i ready"
doneApplication startup complete.。Step 2:启动 Prefill(在 x.x.x.2 容器内)
cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./run_pnode.sh # 内部: nohup python launch_online_dp_pnode.py --dp-size 4 --tp-size 4 --dp-size-local 4 --dp-rank-start 0 --dp-address x.x.x.2 --dp-rpc-port <PORT-DP-RPC> --vllm-start-port <PORT-P-API>log/pd_pnode_dsv41_flash_mooncake_1017.log<PORT-P-API+i> (i=0..3) /health 200,日志 4 处 Application startup complete.。Step 3:启动 Proxy(在 x.x.x.2 容器内,两节点引擎全部就绪后)
cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./run_proxy_pnode.sh # 内部: nohup python load_balance_proxy_server_example.py --host x.x.x.2 --port <PORT-PROXY> --prefiller-hosts x.x.x.2×4 --prefiller-ports <PORT-P-API>..+3 --decoder-hosts x.x.x.3×8 --decoder-ports <PORT-D-API>..+7log/pd_proxy_dsv41_flash_mooncake_1017.logcurl http://x.x.x.2:<PORT-PROXY>/healthcheck 返回 200,prefill 端点数 = 4、decode 端点数 = 8。常见坑:
EI0009: The network port is down(启动期或跨节点 KV connect 期):A3 无 RoCE 口,模板里若带 HCCL_INTRA_ROCE_ENABLE=1(官方 5.4 文档面向 A2 的设置)必然触发。修复:移除该变量,并保留 ASCEND_GLOBAL_RESOURCE_CONFIG='{"comm_resource_config.protocol_desc":["hccs:device"]}' + ASCEND_LOCAL_COMM_RES='{"version":"1.2"}'(vllm-ascend issue #19881 社区方案)。Mooncake transfer failed:KV 传输段/随机端口未放通(见 §4.5 症状),补齐防火墙后恢复;传输正常时 dnode 日志应见 KV cache transfer for request ... took 149.00~247.74 ms。ValueError: To serve at least one request with the model's max seq len (1048576), (4.85 GiB KV cache is needed, which is larger than the available KV cache memory (4.32 GiB)):TP4 单卡权重 42.97GiB,--gpu-memory-utilization 0.9 时 KV 余量不足 1M 下限。修复:P 节点 --gpu-memory-utilization 0.95(与 D 一致);或降 --max-model-len ≤ 915456。extra_config 的 prefill {dp:4, tp:4} / decode {dp:8, tp:2} 在 P、D 两个模板中必须相同,否则 KV layout 不匹配。① 各引擎健康(P 节点容器内)
for i in 0 1 2 3; do curl -fsS "http://x.x.x.2:<PORT-P-API+i>/v1/models"; echo; done
for i in 0 1 2 3 4 5 6 7; do curl -fsS "http://x.x.x.3:<PORT-D-API+i>/v1/models"; echo; done期望:每个响应含 "id": "dsv41_flash"。
② Proxy 健康
curl -fsS "http://x.x.x.2:<PORT-PROXY>/healthcheck"期望:HTTP 200,prefill 端点数 4、decode 端点数 8。
③ 端到端请求(经 proxy)
curl -fsS http://x.x.x.2:<PORT-PROXY>/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "dsv41_flash",
"messages": [{"role": "user", "content": "用一句话介绍北京"}],
"max_tokens": 1024
}'期望:content 为正常中文回答(本次实测:"北京是中国的首都,一座融合千年古都底蕴与现代国际风貌的历史文化名城。"),finish_reason=stop,端到端约 3s 量级。推理模型若触发思考,思考内容在 reasoning 字段(reasoning-parser deepseek_v41);短问答可不产生思考内容,max_tokens 建议 ≥1024。
逆序:Proxy → Prefill → Decode:
# x.x.x.2
cd /workspace/deepseekv41_flash/1017_pd_separation_deployment
./stop_proxy.sh # 先停 proxy, 停止接流
./stop_pnode.sh # 优雅超时默认 180s, 超时强杀进程树
# x.x.x.3
./stop_dnode.sh或在任一节点一次性执行 ./stop_all.sh。
完成标志:脚本输出"已停止"且无残留进程;npu-smi info 确认两节点 16 逻辑设备显存均已释放。