Ascend-SACT/Qwen3.8-27B-bf16
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Qwen3.8-27B-bf16基于vLLMAscend框架部署指导-A2

模型基本信息:

Qwen3.8-27B 是阿里巴巴通义千问团队于 2026 年 8 月 14 日 正式开源的 270 亿参数稠密(Dense)多模态大模型,采用 Apache 2.0 协议,可自由下载、部署和商用 详情参考GLM5.2官方技术报告(https://huggingface.co/papers/2602.15763) 架构亮点 Qwen3.8-27B 采用混合注意力架构,结合了 : Gated DeltaNet:线性注意力,低成本处理长上下文 Gated Attention:标准注意力层 多 Token 预测(MTP):加速解码速度 保留思考(preserve_thinking):跨轮次保留推理轨迹,提升后续对话准确性 性能表现 相比上一代 Qwen3.6-27B,编程和办公场景大幅提升,整体表现甚至超越了更大的 Qwen3.7-Plus

一、环境准备

1、环境信息

【硬件配置】Atlas 800T A2(优化措施同样适用于A3,可参考环境部署指导进行环境配置) 【NPU驱动固件】25.2.3 【CANN软件】CANN 8.5.1

vllm                                     0.23.0
vllm_ascend                              v0.23.0rc1
torch                                    2.10.0+cpu
torch_npu                                2.10.0
torchaudio                               2.10.0+cpu
torchvision                              0.25.0+cpu
triton-ascend                            3.2.1
transformers                             5.5.3

2、准备镜像

通过镜像链接下载对应服务器的镜像版本

docker quay.nju.edu.cn/ascend/vllm-ascend:v0.23.0rc1     #A2

3、获取权重

下载权重

通过权重链接下载权重

modelscope download --model Qwen/Qwen3.8-27B

4、创建容器

#!/bin/bash

export IMAGE=quay.nju.edu.cn/ascend/vllm-ascend:v0.23.0rc1-arm64

sudo docker run -itd -u 0 \
    --name vllm-ascend-Qwen3.8-27B-test \
    --shm-size=512g \
    --net=host \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci4 \
    --device /dev/davinci5 \
    --device /dev/davinci6 \
    --device /dev/davinci7 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -v /root/.cache:/root/.cache \
    -v /data01/huawei_tmp:/data01 \
    -p 8000:8000 \
    -itd --privileged $IMAGE bash

二、拉起服务

1、创建脚本

脚本配置 运行vllm ascend服务

#!/bin/bash

export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=1024
export OMP_NUM_THREADS=10
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export TASK_QUEUE_ENABLE=1
export VLLM_ASCEND_ENABLE_TOPK_OPTIMIZE=1
export VLLM_ASCEND_ENABLE_DENSE_OPTIMIZE=1
export VLLM_USE_V1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export VLLM_ASCEND_ENABLE_NZ=1

vllm serve qwen38-27b/ \
    --served-model-name "qwen38" \
    --host 0.0.0.0 \
    --port 8000 \
    --enable-chunked-prefill \
    --max-num-batched-tokens 4096 \
    --tensor-parallel-size 4 \
    --max-model-len 262144 \
    --max-num-seqs 128 \
    --gpu-memory-utilization 0.95 \
    --trust-remote-code \
    --async-scheduling \
    --enable-prefix-caching \
    --mm-processor-cache-gb 4 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --reasoning-parser deepseek_r1 \
    --allowed-local-media-path / \
    --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,4,8,12,16,24,32,48,52,56,60,64,68,72,76,80,84,88,92,96,100,104,108,112,116,120,124,128,132,136,180,184,188,192,196,200,204,208,236,240,244,248,252,256,260,264,268,272,356,360,364,380,384,388]}' \
    --mm_processor_cache_type="shm"  \
    --additional-config '{"enable_cpu_binding":true,"fuse_qknorm_rope":true,"fuse_muls_add":true,"enable_npugraph_ex":true}'

关键参数说明 --VLLM_ASCEND_ENABLE_TOPK_OPTIMIZE=1:计算优化,优化 MoE TopK 路由选择的 kernel 实现,减少 gating 计算的 kernel launch 开销。

--VLLM_ASCEND_ENABLE_DENSE_OPTIMIZE=1:对密集层(Attention QKV 投影、Output 投影等)使用更优的融合/调度策略,减少 kernel 数量。

--VLLM_USE_V1=1:调度优化,启用 vLLM V1 调度引擎,改进 batching、抢占和内存管理策略。

--VLLM_ASCEND_ENABLE_FUSED_MC2=1:通信+计算融合,将 MoE 的 AllGather / ReduceScatter 与后续的 MatMul 融合,减少片上数据搬运。

--cudagraph_capture_sizes 必须是 num_speculative_tokens + 1 的倍数:本例 num_speculative_tokens=2,故 capture sizes 为 3 的倍数。若改为 3 个推测 token,则需改为 4 的倍数(如 [4,8,12,...,128])。 TASK_QUEUE_ENABLE 不能是 2:NPU graph capture 要求 =1,=2 报 Do not support TASK_QUEUE_ENABLE = 2 during NPU graph capture。

--tensor-parallel-size 必须与 ASCEND_RT_VISIBLE_DEVICES 中的 NPU 数量一致:本例 4 卡 TP=4。

--max-model-len 可按需调整:模型原生支持 262,144 tokens;133,120 是 4 卡 BF16 下的推荐值,降低可释放显存、提升并发。

多模态参数:--allowed-local-media-path / 允许模型访问本地图片/视频;--mm-processor-cache-gb 0 不缓存视觉预处理结果以节省显存;--mm-encoder-tp-mode data 使用数据并行处理视觉编码器。 --reasoning-parser qwen3:解析思维链 token(...)。若启动报错,可尝试 qwen3_5。

2、curl 推理测试

服务拉起后,用curl命令测试服务可用性

纯语言推理测试:

curl http://xx.xx.xx.xx:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen38",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "Qwen38-27B,请做个自我介绍"
          }
        ]
      }
    ],
    "max_tokens": 300
    }'

三、性能测试

测试工具和方法可参考如下内容,也可以用其他测试工具代替

测试工具:aisbench工具、Run_Benchmark工具

数据集:gsm8k

git clone https://github.com/AISBench/benchmark.git
cd benchmark
pip3 install -e ./ --use-pep517 -i https://repo.huaweicloud.com/repository/pypi/simple

下载安装aisbench_auto_tools_prefix https://github.com/rayn-zzz/aisbench_auto_tools_prefix/tree/main

在aisbench_auto_tools_prefix-master文件夹下执行如下命令,本实践分别基于concurrency_value=4/8/16/32/64/128进行了测试:

python3 aisbench_test.py --input_len 30720 --output_len 2048 --data_num 4* concurrency_value --concurrency concurrency_value --dataset_type prefix_cache --repeat_rate 0.9 --prefix_test

五、精度测试

修改 vllm_api_general_chat.py,精度测试配置,权重path、model、ip和端口等基于实际部署情况修改。

from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content

models = [
    dict(
        attr="service",
        type=VLLMCustomAPIChat,
        abbr="vllm-api-general-chat",
        path="/huawei_tmp/Qwen38-27B",
        model="qwen38",
        stream=False,
        request_rate=0,
        use_timestamp=False,
        retry=2,
        api_key="",
        host_ip="x.x.x.x",
        host_port=8000,
        url="",
        max_out_len=131072,
        batch_size=16,
        trust_remote_code=False,
        generation_kwargs=dict(
            temperature=1.0,
            top_p=0.95,
            ignore_eos=False,
        ),
        pred_postprocessor=dict(type=extract_non_reasoning_content),
    )
]

ais_bench --models vllm_api_general_chat --datasets gpqa_gen_0_shot_cot_chat_prompt --debug --dump-eval-details

以GPQA数据集精度测试为例:
# GPQA 下载
```shell
cd ais_bench/datasets
wget http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/gpqa.zip
unzip gpqa.zip
rm gpqa.zip

GPQA 执行

ais_bench --models vllm_api_general_chat --datasets gpqa_gen_0_shot_cot_chat_prompt --mode all --max-num-workers=52