Qwen3-30B-A3B-base-mla-topk8-rank128

本仓库包含用于对 Qwen/Qwen3-30B-A3B-Base 进行 MLA 化转换的 仅注意力增量权重。它不是一个独立的完整模型检查点。

变体

该增量仅包含 q_proj、k_r_proj、低秩 kv_proj 以及 QK-Norm 参数。嵌入、MLP/MoE、输出投影、LM head 以及其他基础模型参数均被有意省略。

使用 MHA2MLA-V2 实现，基于基础模型实例化 MLA 化架构，然后加载 model.safetensors，并指定 strict=False：

from safetensors.torch import load_file

delta = load_file("model.safetensors")
load_result = mla_model.load_state_dict(delta, strict=False)

加载增量之前必须先对架构打补丁。直接通过原生 AutoModelForCausalLM.from_pretrained(...) 加载本仓库不受支持。config.json 包含项目集成所需的逐层 RoPE 索引和已清洗的 MLA 化元数据。

权重遵循基础 Qwen3 模型的 Apache 2.0 许可证。

本仓库包含用于对 Qwen/Qwen3-30B-A3B-Base 进行 MLA 化转换的 仅注意力增量权重。它不是一个独立的完整模型检查点。

该增量仅包含 q_proj、k_r_proj、低秩 kv_proj 以及 QK-Norm 参数。嵌入、MLP/MoE、输出投影、LM head 以及其他基础模型参数均被有意省略。

使用 MHA2MLA-V2 实现，基于基础模型实例化 MLA 化架构，然后加载 model.safetensors，并指定 strict=False：

from safetensors.torch import load_file

delta = load_file("model.safetensors")
load_result = mla_model.load_state_dict(delta, strict=False)

权重遵循基础 Qwen3 模型的 Apache 2.0 许可证。