Qwen3.6-35B-A3B-w8a8

1. 基本信息

项目	信息
原始模型名	Qwen3.6-35B-A3B
原始模型链接	Qwen3.6-35B-A3B
msmodelslim commit id	99394e9404ed72d811205d7a30a6ae883653200a
精度测试机型	Atlas 800T A3 1台
精度测试平台	docker vllm-ascend
版本	vllm-ascend:v0.18.0rc1
链接	quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler

2 量化脚本：

该模型和Qwen3.5-35B-A3B结构一致，msmodelslim已支持一键量化：

msmodelslim quant \
 --model_path weights/Qwen3.6-35B-A3B \
 --save_path weights/Qwen3.6-35B-A3B-w8a8 \
 --model_type Qwen3.5-35B-A3B \
 --quant_type w8a8 \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	本地浮点精度 %
Qwen3.6-35B-A3B-w8a8	w8a8	GPQA	83.232	82.997

*--max-model-len 256000，精度存在波动，建议多次测试。

Qwen3.6-35B-A3B-w8a8

1. 基本信息

项目	信息
原始模型名	Qwen3.6-35B-A3B
原始模型链接	Qwen3.6-35B-A3B
msmodelslim commit id	99394e9404ed72d811205d7a30a6ae883653200a
精度测试机型	Atlas 800T A3 1台
精度测试平台	docker vllm-ascend
版本	vllm-ascend:v0.18.0rc1
链接	quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler

2 量化脚本：

该模型和Qwen3.5-35B-A3B结构一致，msmodelslim已支持一键量化：

msmodelslim quant \
 --model_path weights/Qwen3.6-35B-A3B \
 --save_path weights/Qwen3.6-35B-A3B-w8a8 \
 --model_type Qwen3.5-35B-A3B \
 --quant_type w8a8 \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	本地浮点精度 %
Qwen3.6-35B-A3B-w8a8	w8a8	GPQA	83.232	82.997

*--max-model-len 256000，精度存在波动，建议多次测试。