本次使用 1台 Atlas 300I Duo 服务器,单台 8 张310P NPU 卡,本次部署仅使用1张卡。
| 项目 | 配置 |
|---|---|
| 服务器 | Atlas 300I Duo(单台 8 × 310P,单卡显存 48 GiB) |
| NPU 总数 | 8 |
| 使用NPU数量 | 1 |
| 模型存放路径 | /model/Qwen3.5-4B |
| 配套 | 版本 | 环境准备指导 |
|---|---|---|
| Python | 3.12.13 | 容器自带;查询命令 python -V |
| vllm-ascend 镜像 | vllm-ascend:v0.23.0-310p | 查询命令 docker images |
| torch_npu | 2.10.0.post4 | 查询命令 pip list | grep torch |
| CANN | 9.1.0 | 查询命令 cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg |
本次使用 Qwen3.5-4B(ModelScope:https://www.modelscope.cn/models/Qwen/Qwen3.5-4B )
# 模型路径 /model/Qwen3.5-4B
# 校验模型文件完整性
ls -lh /model/Qwen3.5-4B
# 应有 2 个 safetensors 分片 + config.json + tokenizer 相关文件拉取镜像:docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:v0.23.0-310p准备启动脚本:
export IMAGE=m.daocloud.io/quay.io/ascend/vllm-ascend:v0.23.0-310p
docker run --rm \
--name vllm-ascend \
--shm-size=10g \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /model/Qwen3.5-4B:/model/Qwen3.5-4B \
-p 8080:8080 \
-it $IMAGE bash容器启动参数的关键点(多机部署都必须遵守):
| 配置项 | 取值 | 说明 |
|---|---|---|
| 端口映射 | -p 8080:8080 | 容器内端口:8080,宿主机端口:8080 |
| 镜像挂载 | -v /model/Qwen3.5-4B:/model/Qwen3.5-4B | 容器内模型权重目录: /model/Qwen3.5-4B:/model/Qwen3.5-4B |
进入容器后先验证 NPU 是否正常识别:
npu-smi info输出应显示 8 张 NPU 卡的信息。
配置推理服务脚本: /model/Qwen3.5-4B/code/start_service.sh
#!/bin/sh
# Load model from ModelScope to speed up download
export VLLM_USE_MODELSCOPE=True
# Model weight path; can be a ModelScope model id or a local directory path
# Ensure the model path matches the directory recorded during download
export MODEL_PATH=/model/Qwen3.5-4B
vllm serve $MODEL_PATH \
--host 127.0.0.1 \
--port 8080 \
--tensor-parallel-size 1 \
--served-model-name qwen3.5 \
--max-num-seqs 32 \
--max-model-len 16384 \
--trust-remote-code \
--gpu-memory-utilization 0.90 \
--mamba-ssm-cache-dtype float16 \
--dtype float16 \
--speculative-config '{"method": "qwen3_5_mtp","num_speculative_tokens":1}' \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [2,16]}' \
--additional-config '{"ascend_compilation_config": {"enable_npugraph_ex": false}}'后台拉起推理服务,重定向输出日志到out.log文件,方便查看日志与定位问题。启动命令:
nohup bash server_start.sh > /var/logs/out.log 2>&1 &查看服务启动日志:
tail -f /var/logs/out.log| 参数 | 值 | 说明 |
|---|---|---|
--tensor-parallel-size | 1 | 单卡部署 |
--max-model-len | 16384 | 16k上下文 |
--max-num-seqs | 32 | 最大32并发 |
--compilation-config | {"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [2,16]} | 开启图捕获模式 |
--speculative_config | {"method": "qwen3_5_mtp","num_speculative_tokens":1} | 310P卡计算能力较弱,投机推理数量推荐配置为1 |
--dtype | float16 | 在 Atlas 300I DUO 和 Atlas 200I Pro 上必须设置。这些设备仅支持 FP16 数据类型 |
--gpu-memory-utilization | 0.9 | NPU 显存利用率 |
服务就绪的判定标志(node0 日志):
INFO [api_server.py:682] Starting vLLM server on http://0.0.0.0:8000
INFO [launcher.py:99] API server: waiting for HTTP server to start
INFO: Started server process [938]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO [launcher.py:105] API server: HTTP server started服务启动后,先用 curl 验证服务是否正常:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.5",
"messages": [
{"role": "user", "content": "The future of AI is"}
],
"max_completion_tokens": 1024,
"temperature": 0.7,
"top_p": 0.95
}'