Qwen3-8B-w8a8s-310

1. 基本信息

msmodelslim quant --model_path {浮点权重路径} --save_path {W8A8量化权重路径} --device npu --model_type Qwen3-8B --quant_type w8a8s --trust_remote_code True

模型名	量化格式	数据集	测试精度 %	浮点精度 %
Qwen3-8B-w8a8s-310	w8a8s	BoolQ	87.77	87.03
Qwen3-8B-w8a8s-310	w8a8s	CEval	78.38	79.27
Qwen3-8B-w8a8s-310	w8a8s	GSM8K	92.34	93.33

msmodelslim quant --model_path {浮点权重路径} --save_path {W8A8量化权重路径} --device npu --model_type Qwen3-8B --quant_type w8a8s --trust_remote_code True

模型名	量化格式	数据集	测试精度 %	浮点精度 %
Qwen3-8B-w8a8s-310	w8a8s	BoolQ	87.77	87.03
Qwen3-8B-w8a8s-310	w8a8s	CEval	78.38	79.27
Qwen3-8B-w8a8s-310	w8a8s	GSM8K	92.34	93.33