Qwen3-8B-base-mla-topk8-rank512

本仓库包含用于对 Qwen/Qwen3-8B-Base 进行 MLAfication 转换的仅注意力模块增量权重。它不是一个独立的完整模型检查点。

Variant

增量仅包含 q_proj、k_r_proj、低秩 kv_proj 以及 QK-Norm 参数。嵌入、MLP/MoE、输出投影、LM head 以及其他基础模型参数均被有意省略。

Loading

使用 MHA2MLA-V2 实现从基础模型实例化 MLAfication 架构，然后以 strict=False 加载 model.safetensors：

from safetensors.torch import load_file

delta = load_file("model.safetensors")
load_result = mla_model.load_state_dict(delta, strict=False)

必须在加载 delta 之前修补架构。不支持直接通过原版 AutoModelForCausalLM.from_pretrained(...) 加载该仓库。config.json 包含项目集成所需的逐层 RoPE 索引和已清洗的 MLAfaction 元数据。

文件

• model.safetensors：仅注意力层的 delta 权重
• config.json：基础架构、RoPE 索引和 MLAfaction 元数据
• manifest.json：来源、字节大小、张量数量和校验和

许可证

权重遵循基础 Qwen3 模型的 Apache 2.0 许可。