DeepSeek-V3-0324-w4a8c8-mtp-QuaRot

1. 基本信息

项目	信息
原始模型名	DeepSeek-V3-0324
原始模型链接	deepseek-ai/DeepSeek-V3-0324
msmodelslim commit id	9969c63e5243b7bfc7af6fc3ab19e4968fcd67c5
精度测试机型	Atlas 800T A2 1台
精度测试平台	docker mindie
版本	mindie:2.2.RC1
链接	mindie镜像仓库

2 量化脚本：

msmodelslim quant \
 --model_path weights/DeepSeek-V3-0324 \
 --save_path weights/DeepSeek-V3-0324-w4a8c8-mtp-QuaRot \
 --model_type DeepSeek-V3.1 \
 --quant_type w4a8c8 \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	官方精度 %
DeepSeek-V3-0324-w4a8c8-mtp-QuaRot	w4a8c8	MMLU-pro	82.97	81.2

*"maxSeqLen" : 33892,，精度存在波动，建议多次测试。

DeepSeek-V3-0324-w4a8c8-mtp-QuaRot

1. 基本信息

项目	信息
原始模型名	DeepSeek-V3-0324
原始模型链接	deepseek-ai/DeepSeek-V3-0324
msmodelslim commit id	9969c63e5243b7bfc7af6fc3ab19e4968fcd67c5
精度测试机型	Atlas 800T A2 1台
精度测试平台	docker mindie
版本	mindie:2.2.RC1
链接	mindie镜像仓库

2 量化脚本：

msmodelslim quant \
 --model_path weights/DeepSeek-V3-0324 \
 --save_path weights/DeepSeek-V3-0324-w4a8c8-mtp-QuaRot \
 --model_type DeepSeek-V3.1 \
 --quant_type w4a8c8 \
 --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	官方精度 %
DeepSeek-V3-0324-w4a8c8-mtp-QuaRot	w4a8c8	MMLU-pro	82.97	81.2

*"maxSeqLen" : 33892,，精度存在波动，建议多次测试。