| 项目 | 信息 |
|---|---|
| 原始模型名 | DeepSeek-V3.2-Exp |
| 原始模型链接 | deepseek-ai/DeepSeek-V3.2-Exp |
| modelslim commit id | c52048041e31176dfe1084538a8c74a3f6aad9d4 |
| 精度测试机型 | Atlas 800T A2 1台 |
| 精度测试平台 | docker vllm-ascend |
| 版本 | vllm-ascend:v0.14.0rc1 |
| 链接 | quay.m.daocloud.io/ascend/vllm-ascend:v0.14.0rc1 |
已集成一键量化
msmodelslim quant \
--model_path ${model_path} \
--save_path ${save_path} \
--model_type DeepSeek-V3.2-Exp \
--quant_type w4a8 \
--trust_remote_code True| 模型名 | 量化格式 | 数据集 | 测试精度 % | 官方精度 % |
|---|---|---|---|---|
| DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot | w4a8 | gpqa | 81.31 | 79.9 |
| DeepSeek-V3.2-Exp-w4a8-mtp-QuaRot | w4a8 | mmlupro | 84.63 | 85.0 |
--max-model-len 70000，测试端使用ais_bench，其中max_out_len = 65536，精度存在波动，建议多次测试。