Ling-2.6-1T 是一款基于 bailing_hybrid 架构的大规模语言模型,其特点在于融合了多头潜在注意力(MLA)与线性注意力的混合注意力机制,并采用了混合专家(MoE)设计。
| 属性 | 值 |
|---|---|
| 模型类型 | bailing_hybrid |
| 架构 | BailingMoeV2_5ForCausalLM |
| 隐藏层大小 | 8192 |
| 层数 | 80 |
| 注意力头数 | 64 |
| 专家数量 | 256(路由)+ 1(共享) |
| 上下文长度 | 262,144 |
| 量化方式 | 压缩张量 FP8 动态 |
| 许可证 | MIT |
该模型可在 ModelScope 获取。
引用信息请参考 HuggingFace 或 ModelScope 上的模型卡片。