| 项目 | 配置 |
|---|---|
| 服务器 | Atlas 800 A3 单机,8 张物理卡,每卡 2 die,暴露 16 个逻辑设备 |
| 设备编号 | /dev/davinci0 ~ /dev/davinci15 |
| 每逻辑设备 HBM | ~61.27 GiB |
| 组件 | 版本/镜像 |
|---|---|
| 容器镜像 | registry-cbu.huawei.com/ascend/vllm-ascend:v0.30.0rc2-a3,实测本文配置也支持 v0.30.0rc1-a3 |
| vLLM 版本 | 0.30.0rc2(官方要求 ≥0.30.0,否则 --engram-config 无法识别) |
modelscope download --model Eco-Tech/DeepSeek-V4.1-Flash-1017-w8a8 --local_dir /opt/data/model/DeepSeek-V4.1-Flash-1017-w8a8W8A8 量化 + INT8 Engram 表 + DSpark 草稿层。Engram 表约 189–197 GiB,通过 host offload 存放在 CPU 内存,不占用 HBM。
docker run -d --rm \
--name dsv41-a3 \
--net=host \
--ipc=host \
--privileged=true \
--shm-size=512g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci8 \
--device /dev/davinci9 \
--device /dev/davinci10 \
--device /dev/davinci11 \
--device /dev/davinci12 \
--device /dev/davinci13 \
--device /dev/davinci14 \
--device /dev/davinci15 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /opt/data/model:/opt/data/model \
registry-cbu.huawei.com/ascend/vllm-ascend:v0.30.0rc2-a3 \
sleep infinity三个关键点:
① --device 必须映射 davinci0 到 davinci15,共 16 个,不是 8 个。 A3 每张物理卡封装 2 个 die,每个 die 对应一个独立逻辑设备。只映射 davinci0~7 会让容器内只能看到 8 个 NPU,与 DP4/TP4 所需的 16 个逻辑设备不匹配,启动阶段就会因可用设备数不足而失败。
② --ipc=host 或 --shm-size≥512g 是硬性前提,不是可选优化。 Engram 表约 189 GiB 通过 dp_shared_memory 在 DP rank 间共享,底层依赖 /dev/shm。容器默认 /dev/shm 仅 64 MiB,差 3 个数量级。实测运行中 /dev/shm 占用约 207 GiB,因此必须显式给足共享内存。
③ --net=host 不可替代。 HCCL 通信域建立和 4 个 DP 引擎的协调依赖宿主机网络命名空间,端口映射(-p)无法转发 HCCL 的底层通信。--privileged=true 同时用于访问 NPU 管理设备和必要的绑核操作。
#!/usr/bin/env bash
set -euo pipefail
MODEL_PATH="/opt/data/model/DeepSeek-V4.1-Flash-1017-w8a8"
# =============================================================================
# 网络配置(必填)
#
# 获取方法:
# 1. 执行 `ip a`,找到承载 NPU 高速平面的网卡(通常是 enp*/eth*/bond*)
# 2. 记录该网卡的名称,填入 NIC_NAME
# 3. 记录该网卡下的 IPv4 地址(inet 后的值),填入 LOCAL_IP
# 注意:
# - NIC_NAME 填网卡名,不是 IP;把 IP 填入 NIC_NAME 会触发
# EI0001: Value ... is invalid 和 hcclGetRootInfo error code 6
# - LOCAL_IP 必须是 NIC_NAME 网卡上的地址
# =============================================================================
NIC_NAME="enpxxxsxfx" # 需修改
LOCAL_IP="xx.xx.xx.xx" # 需修改
export HCCL_SOCKET_IFNAME="${NIC_NAME}"
export GLOO_SOCKET_IFNAME="${NIC_NAME}"
export TP_SOCKET_IFNAME="${NIC_NAME}"
export HCCL_IF_IP="${LOCAL_IP}"
export HCCL_SOCKET_FAMILY=AF_INET
export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_ENGINE_READY_TIMEOUT_S=36000
export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15
vllm serve "${MODEL_PATH}" \
--host 0.0.0.0 \
--port 8000 \
--served-model-name dsv41 \
--trust-remote-code \
--tokenizer-mode deepseek_v41 \
--reasoning-parser deepseek_v41 \
--tool-call-parser deepseek_v41 \
--enable-auto-tool-choice \
--quantization ascend \
--data-parallel-size 4 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--max-model-len 1048576 \
--max-num-batched-tokens 8192 \
--max-num-seqs 32 \
--block-size 128 \
--no-enable-prefix-caching \
--async-scheduling \
--engram-config '{"cpu_offload": true, "dp_shared_memory": true}' \
--compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
--safetensors-load-strategy lazy \
--model-loader-extra-config '{"enable_multithread_load":true,"num_threads":128}' \
--gpu-memory-utilization 0.85 \
--additional-config '{
"ascend_compilation_config":{"enable_npugraph_ex": true,"enable_static_kernel": false},
"enable_cpu_binding": false,
"multistream_overlap_shared_expert": true
}'bash run.sh等待出现如下日志打印,表明部署成功。
(ApiServer_0 pid=121469) INFO: Waiting for application startup.
(ApiServer_1 pid=121470) INFO: Application startup complete.bash verify_dsv41.sh面向 DeepSeek-V4.1-Flash 的六项功能验证脚本,可在容器内直接对 http://127.0.0.1:8000 执行。依次检查: