Qwen3.8-27B 是阿里巴巴通义千问团队于 2026 年 8 月 14 日 正式开源的 270 亿参数稠密(Dense)多模态大模型,采用 Apache 2.0 协议,可自由下载、部署和商用 详情参考GLM5.2官方技术报告(https://huggingface.co/papers/2602.15763) 架构亮点 Qwen3.8-27B 采用混合注意力架构,结合了 : Gated DeltaNet:线性注意力,低成本处理长上下文 Gated Attention:标准注意力层 多 Token 预测(MTP):加速解码速度 保留思考(preserve_thinking):跨轮次保留推理轨迹,提升后续对话准确性 性能表现 相比上一代 Qwen3.6-27B,编程和办公场景大幅提升,整体表现甚至超越了更大的 Qwen3.7-Plus
【硬件配置】Atlas 800T A2(优化措施同样适用于A3,可参考环境部署指导进行环境配置) 【NPU驱动固件】25.2.3 【CANN软件】CANN 8.5.1
vllm 0.23.0
vllm_ascend v0.23.0rc1
torch 2.10.0+cpu
torch_npu 2.10.0
torchaudio 2.10.0+cpu
torchvision 0.25.0+cpu
triton-ascend 3.2.1
transformers 5.5.3通过镜像链接下载对应服务器的镜像版本
docker quay.nju.edu.cn/ascend/vllm-ascend:v0.23.0rc1 #A2通过权重链接下载权重
modelscope download --model Qwen/Qwen3.8-27B#!/bin/bash
export IMAGE=quay.nju.edu.cn/ascend/vllm-ascend:v0.23.0rc1-arm64
sudo docker run -itd -u 0 \
--name vllm-ascend-Qwen3.8-27B-test \
--shm-size=512g \
--net=host \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci6 \
--device /dev/davinci7 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-v /data01/huawei_tmp:/data01 \
-p 8000:8000 \
-itd --privileged $IMAGE bash
脚本配置 运行vllm ascend服务
#!/bin/bash
export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True"
export HCCL_OP_EXPANSION_MODE="AIV"
export HCCL_BUFFSIZE=1024
export OMP_NUM_THREADS=10
export LD_PRELOAD=/usr/lib/aarch64-linux-gnu/libjemalloc.so.2:$LD_PRELOAD
export TASK_QUEUE_ENABLE=1
export VLLM_ASCEND_ENABLE_TOPK_OPTIMIZE=1
export VLLM_ASCEND_ENABLE_DENSE_OPTIMIZE=1
export VLLM_USE_V1=1
export VLLM_ASCEND_ENABLE_FUSED_MC2=1
export VLLM_ASCEND_ENABLE_NZ=1
vllm serve qwen38-27b/ \
--served-model-name "qwen38" \
--host 0.0.0.0 \
--port 8000 \
--enable-chunked-prefill \
--max-num-batched-tokens 4096 \
--tensor-parallel-size 4 \
--max-model-len 262144 \
--max-num-seqs 128 \
--gpu-memory-utilization 0.95 \
--trust-remote-code \
--async-scheduling \
--enable-prefix-caching \
--mm-processor-cache-gb 4 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser deepseek_r1 \
--allowed-local-media-path / \
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "cudagraph_capture_sizes": [1,4,8,12,16,24,32,48,52,56,60,64,68,72,76,80,84,88,92,96,100,104,108,112,116,120,124,128,132,136,180,184,188,192,196,200,204,208,236,240,244,248,252,256,260,264,268,272,356,360,364,380,384,388]}' \
--mm_processor_cache_type="shm" \
--additional-config '{"enable_cpu_binding":true,"fuse_qknorm_rope":true,"fuse_muls_add":true,"enable_npugraph_ex":true}'关键参数说明 --VLLM_ASCEND_ENABLE_TOPK_OPTIMIZE=1:计算优化,优化 MoE TopK 路由选择的 kernel 实现,减少 gating 计算的 kernel launch 开销。
--VLLM_ASCEND_ENABLE_DENSE_OPTIMIZE=1:对密集层(Attention QKV 投影、Output 投影等)使用更优的融合/调度策略,减少 kernel 数量。
--VLLM_USE_V1=1:调度优化,启用 vLLM V1 调度引擎,改进 batching、抢占和内存管理策略。
--VLLM_ASCEND_ENABLE_FUSED_MC2=1:通信+计算融合,将 MoE 的 AllGather / ReduceScatter 与后续的 MatMul 融合,减少片上数据搬运。
--cudagraph_capture_sizes 必须是 num_speculative_tokens + 1 的倍数:本例 num_speculative_tokens=2,故 capture sizes 为 3 的倍数。若改为 3 个推测 token,则需改为 4 的倍数(如 [4,8,12,...,128])。 TASK_QUEUE_ENABLE 不能是 2:NPU graph capture 要求 =1,=2 报 Do not support TASK_QUEUE_ENABLE = 2 during NPU graph capture。
--tensor-parallel-size 必须与 ASCEND_RT_VISIBLE_DEVICES 中的 NPU 数量一致:本例 4 卡 TP=4。
--max-model-len 可按需调整:模型原生支持 262,144 tokens;133,120 是 4 卡 BF16 下的推荐值,降低可释放显存、提升并发。
多模态参数:--allowed-local-media-path / 允许模型访问本地图片/视频;--mm-processor-cache-gb 0 不缓存视觉预处理结果以节省显存;--mm-encoder-tp-mode data 使用数据并行处理视觉编码器。 --reasoning-parser qwen3:解析思维链 token(...)。若启动报错,可尝试 qwen3_5。
服务拉起后,用curl命令测试服务可用性
纯语言推理测试:
curl http://xx.xx.xx.xx:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen38",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Qwen38-27B,请做个自我介绍"
}
]
}
],
"max_tokens": 300
}'测试工具和方法可参考如下内容,也可以用其他测试工具代替
测试工具:aisbench工具、Run_Benchmark工具
数据集:gsm8k
git clone https://github.com/AISBench/benchmark.git
cd benchmark
pip3 install -e ./ --use-pep517 -i https://repo.huaweicloud.com/repository/pypi/simple下载安装aisbench_auto_tools_prefix https://github.com/rayn-zzz/aisbench_auto_tools_prefix/tree/main
在aisbench_auto_tools_prefix-master文件夹下执行如下命令,本实践分别基于concurrency_value=4/8/16/32/64/128进行了测试:
python3 aisbench_test.py --input_len 30720 --output_len 2048 --data_num 4* concurrency_value --concurrency concurrency_value --dataset_type prefix_cache --repeat_rate 0.9 --prefix_test
修改 vllm_api_general_chat.py,精度测试配置,权重path、model、ip和端口等基于实际部署情况修改。
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-general-chat",
path="/huawei_tmp/Qwen38-27B",
model="qwen38",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="",
host_ip="x.x.x.x",
host_port=8000,
url="",
max_out_len=131072,
batch_size=16,
trust_remote_code=False,
generation_kwargs=dict(
temperature=1.0,
top_p=0.95,
ignore_eos=False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
ais_bench --models vllm_api_general_chat --datasets gpqa_gen_0_shot_cot_chat_prompt --debug --dump-eval-details
以GPQA数据集精度测试为例:
# GPQA 下载
```shell
cd ais_bench/datasets
wget http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/gpqa.zip
unzip gpqa.zip
rm gpqa.zipais_bench --models vllm_api_general_chat --datasets gpqa_gen_0_shot_cot_chat_prompt --mode all --max-num-workers=52