| 项目 | 信息 |
|---|---|
| 原始模型名 | Qwen3.6-27B |
| 原始模型链接 | Qwen3.6-27B |
| msmodelslim commit id | 640291a51ffe5acb919e68f609b84fef419276d4 |
| 精度测试机型 | Atlas 800T A3 1台 |
| 精度测试平台 | docker vllm-ascend |
| 版本 | vllm-ascend:v0.18.0rc1 |
| 链接 | quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler |
该模型与Qwen3.5-27B结构一致，msmodelslim已支持一键量化：
msmodelslim quant \
--model_path weights/Qwen3.6-27B \
--save_path weights/Qwen3.6-27B-W8A8 \
--device npu \
--model_type Qwen3.5-27B \
--quant_type w8a8 \
--trust_remote_code True| 模型名 | 量化格式 | 数据集 | 测试精度 % | 本地浮点精度 % |
|---|---|---|---|---|
| Qwen3.6-27B-w8a8 | w8a8 | GPQA | 85.415 | 85.4175 |
*--max-model-len 256000，精度存在波动，建议多次测试。