| 项目 | 信息 |
|---|---|
| 原始模型名 | Qwen3.5-397B-A17B |
| 原始模型链接 | Qwen3.5-397B-A17B |
| msmodelslim commit id | fcc66b59cffc9c4b67b42a807fe71a793e496334 |
| 精度测试机型 | |
| 精度测试平台 | |
| 版本 | |
| 链接 |
msmodelslim quant \
--model_path weights/Qwen3.5-397B-A17B \
--save_path weights/Qwen3.5-397B-A17B-w4a8c8-mxfp \
--model_type Qwen3.5-397B-A17B \
--config .yaml \
--trust_remote_code true\
--device npu \
--device_id 0 1 2 3 4 5 6 7| 模型名 | 量化格式 | 数据集 | 测试精度 % | 官方浮点精度 % |
|---|---|---|---|---|
| Qwen3.5-397B-A17B-w4a8c8-mxfp | w4a8c8-mxfp | GPQA | 87.88 | 88.4 |
| Qwen3.5-397B-A17B-w4a8c8-mxfp | w4a8c8-mxfp | MMLU-PRO | 79.60 | 79.0 |