Qwen3.6-27B-w8a8

1. 基本信息

项目	信息
原始模型名	Qwen3.6-27B
原始模型链接	Qwen3.6-27B
msmodelslim commit id	640291a51ffe5acb919e68f609b84fef419276d4
精度测试机型	Atlas 800T A3 1台
精度测试平台	docker vllm-ascend
版本	vllm-ascend:v0.18.0rc1
链接	quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler

2 量化脚本：

该模型与Qwen3.5-27B结构一致，msmodelslim已支持一键量化：

msmodelslim quant \
    --model_path weights/Qwen3.6-27B \
    --save_path weights/Qwen3.6-27B-W8A8 \
    --device npu \
    --model_type Qwen3.5-27B \
    --quant_type w8a8 \
    --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	本地浮点精度 %
Qwen3.6-27B-w8a8	w8a8	GPQA	85.415	85.4175

*--max-model-len 256000，精度存在波动，建议多次测试。

Qwen3.6-27B-w8a8

1. 基本信息

项目	信息
原始模型名	Qwen3.6-27B
原始模型链接	Qwen3.6-27B
msmodelslim commit id	640291a51ffe5acb919e68f609b84fef419276d4
精度测试机型	Atlas 800T A3 1台
精度测试平台	docker vllm-ascend
版本	vllm-ascend:v0.18.0rc1
链接	quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler

2 量化脚本：

该模型与Qwen3.5-27B结构一致，msmodelslim已支持一键量化：

msmodelslim quant \
    --model_path weights/Qwen3.6-27B \
    --save_path weights/Qwen3.6-27B-W8A8 \
    --device npu \
    --model_type Qwen3.5-27B \
    --quant_type w8a8 \
    --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	本地浮点精度 %
Qwen3.6-27B-w8a8	w8a8	GPQA	85.415	85.4175

*--max-model-len 256000，精度存在波动，建议多次测试。