DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot

1. 基本信息

项目	信息
原始模型名	DeepSeek-V3.2-Exp
原始模型链接	deepseek-ai/DeepSeek-V3.2-Exp
modelslim commit id	c52048041e31176dfe1084538a8c74a3f6aad9d4
精度测试机型	Atlas 800T A2 1台
精度测试平台	docker vllm-ascend
版本	vllm-ascend:v0.14.0rc1
链接	quay.m.daocloud.io/ascend/vllm-ascend:v0.14.0rc1

2 量化脚本：

已集成一键量化

msmodelslim quant \
 --model_path ${model_path} \
 --save_path ${save_path} \
 --model_type DeepSeek-V3.2-Exp \
 --quant_type w4a8 \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	官方精度 %
DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot	w4a8	gpqa	81.31	79.9
DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot	w4a8	mmlupro	84.63	85.0

服务端--max-model-len 70000，测试端使用ais_bench，其中max_out_len = 65536，精度存在波动，建议多次测试。

DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot

1. 基本信息

项目	信息
原始模型名	DeepSeek-V3.2-Exp
原始模型链接	deepseek-ai/DeepSeek-V3.2-Exp
modelslim commit id	c52048041e31176dfe1084538a8c74a3f6aad9d4
精度测试机型	Atlas 800T A2 1台
精度测试平台	docker vllm-ascend
版本	vllm-ascend:v0.14.0rc1
链接	quay.m.daocloud.io/ascend/vllm-ascend:v0.14.0rc1

2 量化脚本：

已集成一键量化

msmodelslim quant \
 --model_path ${model_path} \
 --save_path ${save_path} \
 --model_type DeepSeek-V3.2-Exp \
 --quant_type w4a8 \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	官方精度 %
DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot	w4a8	gpqa	81.31	79.9
DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot	w4a8	mmlupro	84.63	85.0

服务端--max-model-len 70000，测试端使用ais_bench，其中max_out_len = 65536，精度存在波动，建议多次测试。