Ascend-SACT/Qwen3.5-9B-310P
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

一、环境准备

1.1 硬件配置

本次使用 1台 Atlas 300I Duo 服务器,单台 8 张310P NPU 卡,本次部署仅使用1张卡。

项目配置
服务器Atlas 300I Duo(单台 8 × 310P,单卡显存 48 GiB)
NPU 总数8
使用NPU数量1
模型存放路径/model/Qwen3.5-9B

1.2 软件环境

配套版本环境准备指导
Python3.12.13容器自带;查询命令 python -V
vllm-ascend 镜像vllm-ascend:v0.23.0-310p查询命令 docker images
torch_npu2.10.0.post4查询命令 pip list | grep torch
CANN9.1.0查询命令 cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg

1.3 模型准备

本次使用 Qwen3.5-9B(ModelScope:https://www.modelscope.cn/models/Qwen/Qwen3.5-9B )

# 模型路径 /model/Qwen3.5-9B
# 校验模型文件完整性
ls -lh /model/Qwen3.5-9B
# 应有 4 个 safetensors 分片 + config.json + tokenizer 相关文件

1.4 准备推理镜像

拉取镜像:docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:v0.23.0-310p

1.5 配置容器启动脚本(docker_run.sh)

准备启动脚本:

export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.23.0-310p

docker run --rm \
    --name vllm-ascend \
    --shm-size=10g \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /model/Qwen3.5-9B:/model/Qwen3.5-9B \
    -p 8080:8080 \
    -it $IMAGE bash

容器启动参数的关键点(多机部署都必须遵守):

配置项取值说明
端口映射-p 8080:8080容器内端口:8080,宿主机端口:8080
镜像挂载-v /model/Qwen3.5-9B:/model/Qwen3.5-9B容器内模型权重目录: /model/Qwen3.5-9B:/model/Qwen3.5-9B

进入容器后先验证 NPU 是否正常识别:

npu-smi info

输出应显示 8 张 NPU 卡的信息。

二、模型部署

2.1 单机部署

配置推理服务脚本: /model/Qwen3.5-9B/code/start_service.sh

#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True

# Model weight path; can be a ModelScope model id or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=/model/Qwen3.5-9B

vllm serve $MODEL_PATH \
--host 127.0.0.1 \
--port 8080 \
--tensor-parallel-size 1 \
--served-model-name qwen3.5 \
--max-num-seqs 32 \
--max-model-len 16384 \
--trust-remote-code \
--gpu-memory-utilization 0.90 \
--mamba-ssm-cache-dtype float16 \
--dtype float16 \
--speculative-config '{"method": "qwen3_5_mtp","num_speculative_tokens":1}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [2,16]}' \
--additional-config '{"ascend_compilation_config": {"enable_npugraph_ex": false}}'

后台拉起推理服务,重定向输出日志到out.log文件,方便查看日志与定位问题。启动命令:

nohup bash server_start.sh > /var/logs/out.log 2>&1 &

查看服务启动日志:

tail -f /var/logs/out.log

2.3 关键参数说明

参数值说明
--tensor-parallel-size1单卡部署
--max-model-len1638416k上下文
--max-num-seqs32最大32并发
--compilation-config{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [2,16]}开启图捕获模式
--speculative_config{"method": "qwen3_5_mtp","num_speculative_tokens":1}310P卡计算能力较弱,投机推理数量推荐配置为1
--dtypefloat16在 Atlas 300I DUO 和 Atlas 200I Pro 上必须设置。这些设备仅支持 FP16 数据类型
--gpu-memory-utilization0.9NPU 显存利用率

2.4 启动验证

服务就绪的判定标志(node0 日志):

INFO [api_server.py:682] Starting vLLM server on http://0.0.0.0:8000
INFO [launcher.py:99]  API server: waiting for HTTP server to start
INFO:     Started server process [938]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO [launcher.py:105] API server: HTTP server started

三、功能验证

3.1 基本对话测试

服务启动后,先用 curl 验证服务是否正常:

curl http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3.5",
        "messages": [
            {"role": "user", "content": "The future of AI is"}
        ],
        "max_completion_tokens": 1024,
        "temperature": 0.7,
        "top_p": 0.95
    }'