E
Eco-Tech/GLM-5.2-W8A8C8-mxfp8
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

GLM-5.2-W8A8C8-mxfp8 量化模型

1. 基本信息

项目信息
原始模型名GLM-5.2(BF16)
原始模型链接https://www.modelscope.cn/models/ZhipuAI/GLM-5.2
量化工具msModelSlim
量化配置lab_practice/glm_5_2/glm_5_2_w8a8c8_mxfp8.yaml
量化方案说明https://gitcode.com/Ascend/msmodelslim/pull/1001
落盘格式AscendV1(safetensors,单分片 4 GB)
测试机型Atlas 350
验证环境vLLM-Ascend

2. 本次更新说明

本仓库为首次发布(2026-09-25):193 个分片(约 4 GB/片),共 732.06 GiB。

  • 采用 PR #1001(2026-09-21 合入)拆分出的 GLM-5.2 专属 W8A8C8 MXFP8 配置;此前 GLM-5.2 的该量化方案与 GLM-5.3 混用同一份仅标注 GLM-5.3 的配置文件,存在 --model_type GLM-5.2 匹配误判风险,#1001 修正了配置归属;
  • #1001 仅修改 config_id 与 verified_tags 标注,量化流程、量化范围与 GLM-5.3 同类配置完全一致(GLM-5.2 与 GLM-5.3 架构相同,两仓库 quant_model_description.json 逐字节一致);
  • 量化格式为 W8A8C8 MXFP8(带 KV Cache 量化),区别于 glm_5_2_w8a8_mxfp8.yaml(kv_cache: False,无 C8)。

3. 量化方案

3.1 量化配置

项配置
权重MXFP8,per_block(32),对称 minmax
激活MXFP8,per_block(32),对称 minmax,动态
Indexer q/k(稀疏索引)FP8_E4M3,per_token,对称
KV Cache(C8)MXFP8,per-tile(128),对称;量化阶段对 knope 通路逐 tile 模拟并登记量化类型,部署时由推理框架执行
量化类型W8A8_MXFP8(58,943 组两件套:weight + weight_scale)

3.2 量化范围

处理对象includeexclude精度
MLP(dense / 共享专家 / MoE 专家)*mlp**gateW8A8 MXFP8
注意力与索引投影(全 79 层,含 MTP 层 78)*self_attn**kv_b_proj、*wk、*weights_projW8A8 MXFP8(含 o_proj、q_a_proj、q_b_proj、kv_a_proj_with_mqa、22 个 full-indexer 层的 indexer.wq_b)
Indexer q/k(稀疏索引)*indexer*(第 6/10/…/66 层,共 16 层)第 0/1/2/70/74/78 层FP8_E4M3 per_token
KV Cache(knope 压缩通路)*self_attn*(第 3~73 层,共 71 层)*indexer*、第 0/1/2/74–78 层MXFP8 per-tile

3.3 保留高精度的模块(保护对象)

  • gate(MoE 路由,含 e_score_correction_bias):保证专家路由稳定;
  • kv_b_proj(MLA 值投影)、indexer.wk / indexer.weights_proj / indexer.k_norm:避免长序列检索精度劣化;
  • embedding / lm_head / 各类 norm / MTP head:保留浮点。

实测 quant_model_description.json 中 644 个 tensor 为 FLOAT(其中 kv_b_proj、gate、indexer.wk、indexer.weights_proj 等以 BF16 存储,norm、lm_head 以 F32 存储),另有 71 个 knope 层 MXFP8_DYNAMIC 标记、16 个 indexer 层 FP8_DYNAMIC 标记与 1 个模型级 indexer_quant_type(INT8_DYNAMIC)标记。

3.4 处理流水

quarot → flex_smooth_quant(norm-linear + ov) → fa3_quant(indexer, FP8_E4M3) → fa3_quant(knope, MXFP8, KV Cache)
→ linear_quant(self_attn, MXFP8 per_block) → linear_quant(mlp, MXFP8 per_block)
  • QuaRot 正交旋转:将集中在少数通道的激活离群值分散到多通道,为 MXFP8 量化提供平滑分布;旋转矩阵随产物发布(rot.safetensors、optional/quarot.safetensors);
  • Flex SmoothQuant:在 norm-linear / ov 子图上引入互逆缩放,将激活幅度等价迁移到权重侧;
  • fa3_quant:indexer q/k 量化(FP8_E4M3 per_token)与 knope KV Cache 压缩通路量化登记(MXFP8 per-tile,部署侧执行);
  • Linear Quant:MXFP8 per_block(32)minmax 对称量化。

3.5 落盘

以 ascendv1_saver 保存,单分片 4 GB(part_file_size: 4),共 193 片;quant_model_description.json 记录逐 tensor 量化类型(group_size: 32),供部署侧加载。

4. 产物实测校验

校验项结果
文件构成204 文件 / 732.06 GiB(193 分片 + index + description + 2 个旋转矩阵文件 + tokenizer/config 等)
量化描述条目118,619(W8A8_MXFP8 117,887 + FLOAT 644 + MXFP8_DYNAMIC 标记 71 + FP8_DYNAMIC 标记 16 + INT8_DYNAMIC 标记 1)
量化参数组58,943 组,均为两件套(weight U8 + weight_scale F8_E4M3,per_block 32)
分片 dtype 分布U8 58,943 / F8_E4M3 58,943 / F32 438 / BF16 206,逐分片 safetensors header 解析通过(193/193)
跨仓库一致性与 GLM-5.3-W8A8C8-mxfp8 的 quant_model_description.json 逐字节一致(MD5 相同),量化映射仅由架构决定

5. 量化复现

5.1 安装 msModelSlim

git clone https://gitcode.com/Ascend/msmodelslim.git
cd msmodelslim
bash install.sh
# GLM-5.2 需指定 transformers 版本
pip install transformers==5.12.0

5.2 执行量化(8 卡 NPU)

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --device_id 0 1 2 3 4 5 6 7 \
  --model_type GLM-5.2 \
  --quant_type w8a8c8 \
  --tags Atlas_350 \
  --trust_remote_code true
  • ${MODEL_PATH}:GLM-5.2 BF16 权重路径;${SAVE_PATH}:量化产物保存路径;
  • 校准数据 mix_calib.jsonl 由配置自动匹配(与配置同目录),无需手动指定;
  • --tags Atlas_350 用于命中 glm_5_2_w8a8c8_mxfp8.yaml(该配置仅在 Atlas_350 场景验证);注意不要写成 --quant_type mxfp8(不存在该枚举),MXFP8 由 tags 匹配的配置决定;
  • 也可显式 --config ${CONFIG_PATH}/glm_5_2/glm_5_2_w8a8c8_mxfp8.yaml,效果等价。

6. 部署

(待补充)

7. 精度测试结果

模型名量化格式数据集测试精度 (%)
GLM-5.2W8A8C8 MXFP8(待补充)(待补充)

8. 注意事项

  • gate、kv_b_proj、indexer.wk/weights_proj/k_norm、embedding / lm_head / norm 为保护对象,请勿在自定义配置中将其纳入量化范围;
  • 本仓库为 W8A8C8 MXFP8(带 KV Cache 量化);若需无 C8 的 W8A8 MXFP8,请使用 glm_5_2_w8a8_mxfp8.yaml,两者配置不同,产物不通用;
  • indexer q/k 为 FP8_E4M3 per_token 量化(非 MXFP8),属预期设计;
  • 如自定义量化层范围(include/exclude),平滑参数与量化器、位宽强耦合,调整后建议重新执行参数搜索;
  • W8A8C8 的 KV Cache 量化由配置中的 knope fa3_quant 在量化阶段逐 tile(128)模拟并登记量化类型,实际按块量化由 vLLM-Ascend 等部署侧执行。