| 项目 | 信息 |
|---|---|
| 原始模型名 | Qwen3-32B-w8a8c8 |
| 原始模型链接 | Qwen/Qwen3-32B |
| msmodelslim 提交 ID | fbfb88875da37c34296238e0077c5f07ba88e022 |
| msmodelslim 操作指引 | Readme |
| 精度测试机型 | Atlas 800T A2 |
| 精度测试平台 | vllm ascend |
msmodelslim quant --model_path {浮点权重路径} \
--save_path {W8A8C8量化权重路径} \
--device npu \
--model_type Qwen3-32B \
--quant_type w8a8c8 \
--trust_remote_code True| 模型名 | 量化格式 | 数据集 | 测试精度 % | 官方精度 % |
|---|---|---|---|---|
| Qwen3-32B-w8a8c8 | w8a8c8 | CEval | 88.81 | 87.3 |