━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
释放语言模型的推理潜能
从预训练到后训练
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

本模型仓库采用 MIT 许可证授权。

I. MiMo-7B 的预训练 MTPs

本模型仓库包含 MiMo-7B 的预训练 MTP 权重（model.mtp_layers.1 和 model.mtp_layers.2）

目前，MiMo-7B 模型各包含 1 个 MTP 层（model.mtp_layers.0）。用户可加载预训练 MTP 的权重，以潜在地加快推出速度（详情请参考 Power Up Speculative Decoding In Reinforcement Learning）。

[!IMPORTANT] 我们在 SFT 阶段对 1 个 MTP 层进行了调优，并在 RL 阶段将其冻结，尚未测试添加 2 个额外预训练 MTP 层后的后训练模型性能。

II. 联系方式

如有任何问题，请通过 mimo@xiaomi.com 与我们联系，或提交 issue。