Qwen3-VL-30B-A3B-Instruct-w8a8-QuaRot

1. 基本信息

项目	信息
原始模型名	Qwen3-VL-30B-A3B-Instruct
原始模型链接	Qwen/Qwen3-VL-30B-A3B-Instruct
msmodelslim commit id	d9b21712396ffb511af286fcb031a405bf4f01f1
msmodelslim 操作指引	Readme
精度测试机型	Atlas 800I A2
精度测试平台	docker MindIE 镜像
版本	MindIE v3.0.0.beta.1

2 量化命令：

msmodelslim quant \
    --model_path /path/to/qwen3_vl_moe_float_weights \
    --save_path /path/to/qwen3_vl_moe_quantized_weights \
    --device npu \
    --model_type Qwen3-VL-30B-A3B \
    --quant_type w8a8 \
    --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	浮点精度 %
Qwen3-VL-30B-A3B-Instruct-w8a8-QuaRot	w8a8	textvqa	81.37	81.12

Qwen3-VL-30B-A3B-Instruct-w8a8-QuaRot

1. 基本信息

项目	信息
原始模型名	Qwen3-VL-30B-A3B-Instruct
原始模型链接	Qwen/Qwen3-VL-30B-A3B-Instruct
msmodelslim commit id	d9b21712396ffb511af286fcb031a405bf4f01f1
msmodelslim 操作指引	Readme
精度测试机型	Atlas 800I A2
精度测试平台	docker MindIE 镜像
版本	MindIE v3.0.0.beta.1

2 量化命令：

msmodelslim quant \
    --model_path /path/to/qwen3_vl_moe_float_weights \
    --save_path /path/to/qwen3_vl_moe_quantized_weights \
    --device npu \
    --model_type Qwen3-VL-30B-A3B \
    --quant_type w8a8 \
    --trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	浮点精度 %
Qwen3-VL-30B-A3B-Instruct-w8a8-QuaRot	w8a8	textvqa	81.37	81.12