GLM-5.1-w8a8

这是GLM-5.1-w8a8的模型卡片。

模型详情

属性	值
架构	`GlmMoeDsaForCausalLM`
模型类型	`deepseek_v2`
隐藏层大小	6144
注意力头数	64
层数	78
路由专家数	256
每令牌专家数	8
最大位置嵌入	202752
量化方式	FP8（W8A8，动态，e4m3）
词汇表大小	154880
库	transformers

量化配置

量化方法： fp8
激活方案： 动态
格式： e4m3

模型摘要

GLM-5.1-w8a8是一个采用FP8 W8A8量化的混合专家（MoE）因果语言模型。