GLM-5.2-W8A8C8-mxfp8 量化模型
1. 基本信息
2. 本次更新说明
本仓库为首次发布(2026-09-25):193 个分片(约 4 GB/片),共 732.06 GiB。
- 采用 PR #1001(2026-09-21 合入)拆分出的 GLM-5.2 专属 W8A8C8 MXFP8 配置;此前 GLM-5.2 的该量化方案与 GLM-5.3 混用同一份仅标注 GLM-5.3 的配置文件,存在
--model_type GLM-5.2 匹配误判风险,#1001 修正了配置归属;
- #1001 仅修改
config_id 与 verified_tags 标注,量化流程、量化范围与 GLM-5.3 同类配置完全一致(GLM-5.2 与 GLM-5.3 架构相同,两仓库 quant_model_description.json 逐字节一致);
- 量化格式为 W8A8C8 MXFP8(带 KV Cache 量化),区别于
glm_5_2_w8a8_mxfp8.yaml(kv_cache: False,无 C8)。
3. 量化方案
3.1 量化配置
| 项 | 配置 |
|---|
| 权重 | MXFP8,per_block(32),对称 minmax |
| 激活 | MXFP8,per_block(32),对称 minmax,动态 |
| Indexer q/k(稀疏索引) | FP8_E4M3,per_token,对称 |
| KV Cache(C8) | MXFP8,per-tile(128),对称;量化阶段对 knope 通路逐 tile 模拟并登记量化类型,部署时由推理框架执行 |
| 量化类型 | W8A8_MXFP8(58,943 组两件套:weight + weight_scale) |
3.2 量化范围
| 处理对象 | include | exclude | 精度 |
|---|
| MLP(dense / 共享专家 / MoE 专家) | *mlp* | *gate | W8A8 MXFP8 |
| 注意力与索引投影(全 79 层,含 MTP 层 78) | *self_attn* | *kv_b_proj、*wk、*weights_proj | W8A8 MXFP8(含 o_proj、q_a_proj、q_b_proj、kv_a_proj_with_mqa、22 个 full-indexer 层的 indexer.wq_b) |
| Indexer q/k(稀疏索引) | *indexer*(第 6/10/…/66 层,共 16 层) | 第 0/1/2/70/74/78 层 | FP8_E4M3 per_token |
| KV Cache(knope 压缩通路) | *self_attn*(第 3~73 层,共 71 层) | *indexer*、第 0/1/2/74–78 层 | MXFP8 per-tile |
3.3 保留高精度的模块(保护对象)
gate(MoE 路由,含 e_score_correction_bias):保证专家路由稳定;
kv_b_proj(MLA 值投影)、indexer.wk / indexer.weights_proj / indexer.k_norm:避免长序列检索精度劣化;
- embedding / lm_head / 各类 norm / MTP head:保留浮点。
实测 quant_model_description.json 中 644 个 tensor 为 FLOAT(其中 kv_b_proj、gate、indexer.wk、indexer.weights_proj 等以 BF16 存储,norm、lm_head 以 F32 存储),另有 71 个 knope 层 MXFP8_DYNAMIC 标记、16 个 indexer 层 FP8_DYNAMIC 标记与 1 个模型级 indexer_quant_type(INT8_DYNAMIC)标记。
3.4 处理流水
quarot → flex_smooth_quant(norm-linear + ov) → fa3_quant(indexer, FP8_E4M3) → fa3_quant(knope, MXFP8, KV Cache)
→ linear_quant(self_attn, MXFP8 per_block) → linear_quant(mlp, MXFP8 per_block)
- QuaRot 正交旋转:将集中在少数通道的激活离群值分散到多通道,为 MXFP8 量化提供平滑分布;旋转矩阵随产物发布(
rot.safetensors、optional/quarot.safetensors);
- Flex SmoothQuant:在 norm-linear / ov 子图上引入互逆缩放,将激活幅度等价迁移到权重侧;
- fa3_quant:indexer q/k 量化(FP8_E4M3 per_token)与 knope KV Cache 压缩通路量化登记(MXFP8 per-tile,部署侧执行);
- Linear Quant:MXFP8 per_block(32)minmax 对称量化。
3.5 落盘
以 ascendv1_saver 保存,单分片 4 GB(part_file_size: 4),共 193 片;quant_model_description.json 记录逐 tensor 量化类型(group_size: 32),供部署侧加载。
4. 产物实测校验
| 校验项 | 结果 |
|---|
| 文件构成 | 204 文件 / 732.06 GiB(193 分片 + index + description + 2 个旋转矩阵文件 + tokenizer/config 等) |
| 量化描述条目 | 118,619(W8A8_MXFP8 117,887 + FLOAT 644 + MXFP8_DYNAMIC 标记 71 + FP8_DYNAMIC 标记 16 + INT8_DYNAMIC 标记 1) |
| 量化参数组 | 58,943 组,均为两件套(weight U8 + weight_scale F8_E4M3,per_block 32) |
| 分片 dtype 分布 | U8 58,943 / F8_E4M3 58,943 / F32 438 / BF16 206,逐分片 safetensors header 解析通过(193/193) |
| 跨仓库一致性 | 与 GLM-5.3-W8A8C8-mxfp8 的 quant_model_description.json 逐字节一致(MD5 相同),量化映射仅由架构决定 |
5. 量化复现
5.1 安装 msModelSlim
git clone https://gitcode.com/Ascend/msmodelslim.git
cd msmodelslim
bash install.sh
# GLM-5.2 需指定 transformers 版本
pip install transformers==5.12.0
5.2 执行量化(8 卡 NPU)
msmodelslim quant \
--model_path ${MODEL_PATH} \
--save_path ${SAVE_PATH} \
--device npu \
--device_id 0 1 2 3 4 5 6 7 \
--model_type GLM-5.2 \
--quant_type w8a8c8 \
--tags Atlas_350 \
--trust_remote_code true
${MODEL_PATH}:GLM-5.2 BF16 权重路径;${SAVE_PATH}:量化产物保存路径;
- 校准数据
mix_calib.jsonl 由配置自动匹配(与配置同目录),无需手动指定;
--tags Atlas_350 用于命中 glm_5_2_w8a8c8_mxfp8.yaml(该配置仅在 Atlas_350 场景验证);注意不要写成 --quant_type mxfp8(不存在该枚举),MXFP8 由 tags 匹配的配置决定;
- 也可显式
--config ${CONFIG_PATH}/glm_5_2/glm_5_2_w8a8c8_mxfp8.yaml,效果等价。
6. 部署
(待补充)
7. 精度测试结果
| 模型名 | 量化格式 | 数据集 | 测试精度 (%) |
|---|
| GLM-5.2 | W8A8C8 MXFP8 | (待补充) | (待补充) |
8. 注意事项
gate、kv_b_proj、indexer.wk/weights_proj/k_norm、embedding / lm_head / norm 为保护对象,请勿在自定义配置中将其纳入量化范围;
- 本仓库为 W8A8C8 MXFP8(带 KV Cache 量化);若需无 C8 的 W8A8 MXFP8,请使用
glm_5_2_w8a8_mxfp8.yaml,两者配置不同,产物不通用;
- indexer q/k 为 FP8_E4M3 per_token 量化(非 MXFP8),属预期设计;
- 如自定义量化层范围(include/exclude),平滑参数与量化器、位宽强耦合,调整后建议重新执行参数搜索;
- W8A8C8 的 KV Cache 量化由配置中的 knope
fa3_quant 在量化阶段逐 tile(128)模拟并登记量化类型,实际按块量化由 vLLM-Ascend 等部署侧执行。