Ascend-SACT/DeepSeek-V4.1-Flash-1017
模型介绍
文件和版本
Pull Requests
讨论
分析

DeepSeek-V4.1-Flash-1017 A3 单机部署指导

一、环境准备

1.1 硬件配置

项目配置
服务器Atlas 800 A3 单机,8 张物理卡,每卡 2 die,暴露 16 个逻辑设备
设备编号/dev/davinci0 ~ /dev/davinci15
每逻辑设备 HBM~61.27 GiB

1.2 软件环境

组件版本/镜像
容器镜像registry-cbu.huawei.com/ascend/vllm-ascend:v0.30.0rc2-a3,实测本文配置也支持 v0.30.0rc1-a3
vLLM 版本0.30.0rc2(官方要求 ≥0.30.0,否则 --engram-config 无法识别)

1.3 模型准备

modelscope download --model Eco-Tech/DeepSeek-V4.1-Flash-1017-w8a8 --local_dir /opt/data/model/DeepSeek-V4.1-Flash-1017-w8a8

W8A8 量化 + INT8 Engram 表 + DSpark 草稿层。Engram 表约 189–197 GiB,通过 host offload 存放在 CPU 内存,不占用 HBM。

1.4 start.sh 容器启动

docker run -d --rm \
  --name dsv41-a3 \
  --net=host  \
  --ipc=host  \
  --privileged=true  \
  --shm-size=512g  \
  --device /dev/davinci0  \
  --device /dev/davinci1  \
  --device /dev/davinci2  \
  --device /dev/davinci3  \
  --device /dev/davinci4  \
  --device /dev/davinci5  \
  --device /dev/davinci6  \
  --device /dev/davinci7  \
  --device /dev/davinci8  \
  --device /dev/davinci9  \
  --device /dev/davinci10  \
  --device /dev/davinci11  \
  --device /dev/davinci12  \
  --device /dev/davinci13  \
  --device /dev/davinci14  \
  --device /dev/davinci15  \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/dcmi:/usr/local/dcmi \
  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
  -v /etc/ascend_install.info:/etc/ascend_install.info \
  -v /etc/hccn.conf:/etc/hccn.conf \
  -v /opt/data/model:/opt/data/model \
  registry-cbu.huawei.com/ascend/vllm-ascend:v0.30.0rc2-a3 \
  sleep infinity

三个关键点:

① --device 必须映射 davinci0 到 davinci15,共 16 个,不是 8 个。 A3 每张物理卡封装 2 个 die,每个 die 对应一个独立逻辑设备。只映射 davinci0~7 会让容器内只能看到 8 个 NPU,与 DP4/TP4 所需的 16 个逻辑设备不匹配,启动阶段就会因可用设备数不足而失败。

② --ipc=host 或 --shm-size≥512g 是硬性前提,不是可选优化。 Engram 表约 189 GiB 通过 dp_shared_memory 在 DP rank 间共享,底层依赖 /dev/shm。容器默认 /dev/shm 仅 64 MiB,差 3 个数量级。实测运行中 /dev/shm 占用约 207 GiB,因此必须显式给足共享内存。

③ --net=host 不可替代。 HCCL 通信域建立和 4 个 DP 引擎的协调依赖宿主机网络命名空间,端口映射(-p)无法转发 HCCL 的底层通信。--privileged=true 同时用于访问 NPU 管理设备和必要的绑核操作。

二、模型部署

2.1 run.sh 启动模型服务

#!/usr/bin/env bash
set -euo pipefail

MODEL_PATH="/opt/data/model/DeepSeek-V4.1-Flash-1017-w8a8"

# =============================================================================
# 网络配置(必填)
#
# 获取方法:
#   1. 执行 `ip a`,找到承载 NPU 高速平面的网卡(通常是 enp*/eth*/bond*)
#   2. 记录该网卡的名称,填入 NIC_NAME
#   3. 记录该网卡下的 IPv4 地址(inet 后的值),填入 LOCAL_IP

# 注意:
#   - NIC_NAME 填网卡名,不是 IP;把 IP 填入 NIC_NAME 会触发
#     EI0001: Value ... is invalid 和 hcclGetRootInfo error code 6
#   - LOCAL_IP 必须是 NIC_NAME 网卡上的地址
# =============================================================================
NIC_NAME="enpxxxsxfx"     # 需修改
LOCAL_IP="xx.xx.xx.xx"    # 需修改

export HCCL_SOCKET_IFNAME="${NIC_NAME}" 
export GLOO_SOCKET_IFNAME="${NIC_NAME}"
export TP_SOCKET_IFNAME="${NIC_NAME}"
export HCCL_IF_IP="${LOCAL_IP}"
export HCCL_SOCKET_FAMILY=AF_INET

export VLLM_USE_V2_MODEL_RUNNER=0
export VLLM_ENGINE_READY_TIMEOUT_S=36000
export HCCL_CONNECT_TIMEOUT=7200
export ASCEND_CONNECT_TIMEOUT=10000
export ASCEND_TRANSFER_TIMEOUT=10000
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15

vllm serve "${MODEL_PATH}" \
    --host 0.0.0.0 \
    --port 8000 \
    --served-model-name dsv41 \
    --trust-remote-code \
    --tokenizer-mode deepseek_v41 \
    --reasoning-parser deepseek_v41 \
    --tool-call-parser deepseek_v41 \
    --enable-auto-tool-choice \
    --quantization ascend \
    --data-parallel-size 4 \
    --tensor-parallel-size 4 \
    --enable-expert-parallel \
    --max-model-len 1048576 \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 32 \
    --block-size 128 \
    --no-enable-prefix-caching \
    --async-scheduling \
    --engram-config '{"cpu_offload": true, "dp_shared_memory": true}' \
    --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
    --safetensors-load-strategy lazy \
    --model-loader-extra-config '{"enable_multithread_load":true,"num_threads":128}' \
    --gpu-memory-utilization 0.85 \
    --additional-config '{
        "ascend_compilation_config":{"enable_npugraph_ex": true,"enable_static_kernel": false},
        "enable_cpu_binding": false,
        "multistream_overlap_shared_expert": true
    }'

2.2 执行部署

bash run.sh

等待出现如下日志打印,表明部署成功。

(ApiServer_0 pid=121469) INFO:     Waiting for application startup.
(ApiServer_1 pid=121470) INFO:     Application startup complete.

三、功能验证

bash verify_dsv41.sh

下载 verify_dsv41.sh

面向 DeepSeek-V4.1-Flash 的六项功能验证脚本,可在容器内直接对 http://127.0.0.1:8000 执行。依次检查:

  1. /v1/models 服务存活并回显模型名与 max_model_len;
  2. 三次基础对话,解析 content 并对推理模型只返回 reasoning 的情况做兜底;
  3. max_tokens=1024 的长生成,打印 completion、reasoning_tokens、finish_reason 和 content 长度;
  4. 4 路并发请求,全部须返回 200;
  5. 连续 10 次请求检测不崩溃;
  6. 约 20K prompt tokens 的长上下文测试,回显 prompt_tokens 与 finish_reason。任一失败累计到 fail_total,末尾统一输出“全部验证通过”或失败项数提示。