Ascend-SACT/GLM5-KV-Offloading-FusedSfaOverlap
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

GLM5 KV Offloading + Fused SFA Overlap 0.26

本仓库整理 GLM-5.3 KV Offload 的安装、配置、部署与验收材料。

部署形态:4 个 Prefill 节点(每个 dp1×tp16),2 个 Decode 池(每池跨 2 台、dp8×tp4),共 8 台 Atlas 800I A3。

文档与部署文件

  • GLM-5.3 KV Offload 安装与部署指导
  • 可直接导入的推理镜像 ascend-offload:v0.26.0-261015:下载、SHA256 校验和导入步骤见部署指导;模型权重、宿主机驱动与部署脚本另行准备。
  • 0.26 PR cherry-pick 复现方案
  • 部署目录
  • 架构白板导出
  • 部署文件 SHA256 清单

关键版本

  • vLLM: 568afb3a1
  • vLLM Ascend: d7ea5e6c0250d12845e1ea742c48ed948cba2a9d
  • MemFabric: 60b98189
  • MemCache: a4db3920

详细启动顺序、CPU 绑核、Meta/Standalone、Motor/Conductor 注册、健康检查、KV 亲和验证和常见问题见部署指导。

四机一键部署包(2026-11-03)

此节与上面的原镜像和部署脚本分开维护。

  • MemCache / Mooncake 方案:镜像、脚本与使用说明。
  • 默认镜像及校验清单。

MemCache 方案支持跨机共享池或每台 P 独立的本机池;Mooncake 方案按原指导使用 Mooncake KVPool。具体部署步骤与实机验收范围见独立说明。

0914原版一键兼容镜像、导入命令及与原内置脚本的参数差异,统一见原部署指导附录D。