E
Eco-Tech/Qwen3.5-397B-A17B-w4a8c8-mxfp
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Qwen3.5-397B-A17B-w4a8c8-mxfp

1. 基本信息

项目信息
原始模型名Qwen3.5-397B-A17B
原始模型链接Qwen3.5-397B-A17B
msmodelslim commit idfcc66b59cffc9c4b67b42a807fe71a793e496334
精度测试机型
精度测试平台
版本
链接

2 量化脚本:

msmodelslim quant \
  --model_path weights/Qwen3.5-397B-A17B \
  --save_path weights/Qwen3.5-397B-A17B-w4a8c8-mxfp \
  --model_type Qwen3.5-397B-A17B \
  --config .yaml \
  --trust_remote_code true\
  --device npu \
  --device_id 0 1 2 3 4 5 6 7

3 精度测试结果

模型名量化格式数据集测试精度 %官方浮点精度 %
Qwen3.5-397B-A17B-w4a8c8-mxfpw4a8c8-mxfpGPQA87.8888.4
Qwen3.5-397B-A17B-w4a8c8-mxfpw4a8c8-mxfpMMLU-PRO79.6079.0
  • 精度存在波动,建议多次测试。