DeepSeek-V3.2-w8a8-mtp-QuaRot-Speciale

1. 基本信息

项目	信息
原始模型名	DeepSeek-V3.2-Speciale
原始模型链接	deepseek-ai/DeepSeek-V3.2-Speciale
msmodelslim commit id	ee8edaf88fd5ad1f2544e661ef267a901ff0fa0c
精度测试机型	Atlas 800T A3 1台
精度测试框架	vllm-ascend

2 量化脚本：

v3.2-w8a8-quarot pr合入：https://gitcode.com/Ascend/msmodelslim/pull/26

现已支持一键量化：

# 用于vLLM Ascend部署
msmodelslim quant \
 --model_path ${model_path} \
 --save_path ${save_path} \
 --model_type DeepSeek-V3.2 \
 --quant_type w8a8 \
 --config_path ./lab_practice/deepseek_v3_2/deepseek_w8a8_quarot.yaml \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	官方精度 %
DeepSeek-V3.2-w8a8-mtp-QuaRot	w8a8	gpqadataset	86.36	85.7

精度存在波动，建议多次测试。

DeepSeek-V3.2-w8a8-mtp-QuaRot-Speciale

1. 基本信息

项目	信息
原始模型名	DeepSeek-V3.2-Speciale
原始模型链接	deepseek-ai/DeepSeek-V3.2-Speciale
msmodelslim commit id	ee8edaf88fd5ad1f2544e661ef267a901ff0fa0c
精度测试机型	Atlas 800T A3 1台
精度测试框架	vllm-ascend

2 量化脚本：

v3.2-w8a8-quarot pr合入：https://gitcode.com/Ascend/msmodelslim/pull/26

现已支持一键量化：

# 用于vLLM Ascend部署
msmodelslim quant \
 --model_path ${model_path} \
 --save_path ${save_path} \
 --model_type DeepSeek-V3.2 \
 --quant_type w8a8 \
 --config_path ./lab_practice/deepseek_v3_2/deepseek_w8a8_quarot.yaml \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	官方精度 %
DeepSeek-V3.2-w8a8-mtp-QuaRot	w8a8	gpqadataset	86.36	85.7

精度存在波动，建议多次测试。