MiniCPM 技术报告 | GitHub 仓库 | UltraData | MiniCPM 桌面宠物 | 在线演示

English | 中文

亮点特性

我们正式发布 MiniCPM5 系列的首款模型——MiniCPM5-1B。这是一款专为设备端、本地部署及资源受限场景打造的 10 亿参数级稠密 Transformer 模型，性能达到开源 10 亿参数级别模型的领先水平。

🏆 开源 10 亿参数级领先性能：与同尺寸开源模型相比，MiniCPM5-1B 在对比范围内表现最佳。尤其在智能体工具使用、代码生成和复杂推理任务上优势显著。

🧠 混合推理模式：内置 </think> 对话模板，可通过 enable_thinking 开关切换。同一模型 checkpoint 既能作为快速响应助手，也能作为深度推理器。

🛠️ 部署/微调资源：MiniCPM GitHub 仓库提供单页指南（cookbooks）和智能体技能（Agent Skills），适配主流推理后端和微调框架。

🐱 桌面宠物：基于 MiniCPM5-1B 驱动的本地大语言模型桌面宠物。

模型列表

通过以下目录选择适配您运行环境的模型格式：

• MiniCPM5-1B · ModelScope · BF16 最终版本（经 RL + OPD 后训练）
• MiniCPM5-1B-SFT · ModelScope · BF16 仅 SFT checkpoint（RL/OPD 前）👈 当前位置
• MiniCPM5-1B-Base · ModelScope · BF16 基础模型 checkpoint（仅预训练）
• MiniCPM5-1B-GGUF · ModelScope · 适用于 llama.cpp / Ollama / LM Studio 的 GGUF 格式
• MiniCPM5-1B-MLX · ModelScope · 适用于 Apple Silicon 的 MLX 格式 / 4bit 量化版本

模型信息

MiniCPM5-1B 具有以下特点：

• 类型：因果语言模型
• 架构：标准 LlamaForCausalLM
• 参数数量：1,080,632,832
• 非嵌入参数数量：679,552,512
• 层数：24
• 注意力头数量（GQA）：Q 为 16 个，KV 为 2 个
• 上下文长度：131,072

简介

MiniCPM5-1B 是 MiniCPM5 系列的首个 checkpoint。它专为本地助手、编码代理、工具使用工作流以及偏好轻量级模型的推理场景而设计。该模型在保持较小部署占用空间的同时，原生支持长上下文，并通过同一 checkpoint 提供思考（Think）/非思考（No Think）两种对话模式。

评估结果

我们将 MiniCPM5-1B 与同尺寸级别下性能强劲的开源模型进行了对比，包括 LFM2.5-1.2B-Thinking、Qwen3-0.6B/think 和 Qwen3.5-0.8B/think。这些均为颇具竞争力的基线模型；在该对比组中，MiniCPM5-1B 达到了 10 亿参数级开源 SOTA 水平，其优势在工具使用、代码生成和复杂推理任务中尤为显著。这使其成为本地编码代理、工具助手和推理助手的实用选择。

训练方案

MiniCPM5-1B 的训练是 UltraData 分层数据管理 的全栈实践，涵盖三个阶段：基础训练、中期训练和后期训练。

在基础训练阶段，模型通过稳定训练和衰减训练来构建核心语言能力和训练稳定性。随后进入中期训练阶段，以进一步强化目标能力并适应目标数据分布。训练语料库与模型一同发布，包括 Ultra-FineWeb、Ultra-FineWeb-L3 和 UltraData-Math。

在后期训练阶段，我们按三步进行：SFT、RL 和 OPD。首先，我们使用2000 亿 tokens 的深度思考 SFT 和2000 亿 tokens 的混合思考 SFT 来建立深度思考、混合思考和通用对话能力；SFT 数据以 UltraData-SFT-2605 的形式发布。然后，我们为数学、代码、闭卷问答、写作及相关领域训练专门的RL 教师模型，并使用On-Policy Distillation (OPD，在线策略蒸馏) 将这些教师模型的能力蒸馏到一个发布模型中。

RL + OPD 带来了什么？

RL + OPD 是 MiniCPM5-1B 后训练的关键环节。在数学、代码和指令遵循任务上，RL + OPD 将平均得分提升了 ↑16 分，同时将达到最大 token 预算的响应占比降低了 ↓29 个百分点。下图展示了两阶段推理 RL 流程、得分提升情况以及超长响应的减少情况。

RL 结合了用于推理、闭卷问答、写作、指令遵循、长上下文理解和通用对话的互补训练信号。推理 RL 基于 DAPO-Math-17k，遵循 JustRL 的极简方案，并进一步添加了两阶段长度调度，以在提高推理准确性的同时减少超长响应。我们还使用 TriviaQA、NQ-Open、LongWriter-Zero-RLData、合成的可验证 RLVR 数据以及成对的 RLHF 信号，以提高可靠性、指令遵循能力和用户体验。

OPD 基于思维机器实验室的 On-Policy Distillation，并融合了 Rethinking On-Policy Distillation 中的实现改进。在 RL 框架中，我们使用反向 KL 散度作为优势估计，替代了原始的基于验证的优势。在每个响应位置，我们从学生模型和教师模型中获取 top-k logits，在两个 token 集合的并集上计算反向 KL，并平衡 RKL 信号的准确性与训练效率。OPD 重用了用于训练每个 RL 教师的领域内提示作为蒸馏数据，因此无需额外的数据整理。

快速入门

vLLM

pip install "vllm>=0.21"
vllm serve openbmb/MiniCPM5-1B --port 8000

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openbmb/MiniCPM5-1B",
    "messages": [{"role": "user", "content": "Who are you? Please briefly introduce yourself."}],
    "max_tokens": 128,
    "temperature": 0.7
  }'

SGLang

pip install "sglang[srt]>=0.5.12"
python -m sglang.launch_server --model-path openbmb/MiniCPM5-1B --port 30000

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openbmb/MiniCPM5-1B",
    "messages": [{"role": "user", "content": "Who are you? Please briefly introduce yourself."}],
    "max_tokens": 128,
    "temperature": 0.7
  }'

转换器

pip install -U "transformers>=5.6" accelerate torch

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openbmb/MiniCPM5-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [{"role": "user", "content": "Who are you? Please briefly introduce yourself."}]
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    enable_thinking=False,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))

推荐的对话模板采样：

工具调用

对于工具/函数调用，推荐使用 SGLang 作为后端。MiniCPM5-1B 会生成 XML 风格的工具调用，而 SGLang 内置的 minicpm5 解析器可将其原生转换为与 OpenAI 兼容的 tool_calls：

python -m sglang.launch_server --model-path openbmb/MiniCPM5-1B --port 30000 \
    --tool-call-parser minicpm5      # or: --tool-call-parser auto

GitHub 指南与智能体技能

MiniCPM5-1B 采用标准的 LlamaForCausalLM 架构，主流推理引擎可直接加载，无需自定义内核或修改模型代码。如需详细的部署和微调步骤，请参考以下 GitHub 指南。对于使用 Cursor / Claude Code 风格编码智能体的用户，智能体技能已作为 GitHub 资源链接提供。

部署

微调

其他支持的框架

除上述部署和微调框架外，MiniCPM5-1B 还支持通过 FlagOS 进行多芯片部署。

FlagOS 概述

为实现跨不同 AI 芯片的大规模部署，北京智源研究院联合国内外众多研究机构、芯片厂商、系统厂商以及算法与软件组织，共同发起并成立了 FlagOS 开源社区。

FlagOS 社区致力于为各类 AI 芯片构建统一的开源系统软件栈，涵盖大规模算子库、统一 AI 编译器、并行训练与推理框架以及统一通信库等核心开源项目。其旨在打造连接“模型 - 系统 - 芯片”各层的开放技术生态。通过实现“一次开发，跨芯片部署”，FlagOS 能够释放硬件的计算潜力，打破不同芯片软件栈之间的生态壁垒，有效降低开发者的迁移成本。FlagOS 社区孕育 AI 软硬件生态，克服单一厂商闭源垄断，推动 AI 硬件技术的广泛部署，并致力于立足中国、拥抱全球合作。

官方网站：https://flagos.io

pip install flag-gems==4.2.1rc0
pip install triton==3.5.1

启用加速

您可以在 vllm 执行推理的源代码中添加 flagGems 的导入，以启用 flagGems 加速。

import flag_gems
flag_gems.enable(record=True, once=True, path="/root/gems.txt")

vllm serve ${model_path} \
--trust-remote-code \
--dtype bfloat16 \
--enforce-eager \
--port ${Port} \
--served-model-name ${model_name} \
--gpu-memory-utilization 0.85

使用 FlagOS 统一多芯片后端插件

vllm-plugin-FL 是一款为 vLLM 推理/服务框架打造的插件。它基于 FlagOS 的统一多芯片后端开发，旨在扩展 vLLM 在各种硬件环境下的功能和性能。

使用 vllm-plugin-FL

桌面宠物

我们还发布了 OpenBMB/MiniCPM-Desk-Pet，这是一款由 MiniCPM5-1B 本地驱动的桌面宠物。它支持 Apple Silicon / NVIDIA GPU / CPU 运行路径，可与 Cursor、Claude Code 和 Codex 等编码代理协同工作，并支持 LoRA 角色切换。

局限性与负责任使用

MiniCPM5-1B 是一款基于训练数据中习得的统计模式生成内容的语言模型。它可能会产生不准确、有偏见或不安全的输出，在高风险场景中使用生成内容前，应进行审查和验证。

用户有责任评估输出内容、采取适当的安全措施，并遵守适用的法律、法规和平台政策。

许可证

本仓库和 MiniCPM 模型权重基于 Apache-2.0 许可证发布。

引用

如果您认为我们的工作有价值，请引用我们的论文：

@article{minicpm4,
  title={Minicpm4: Ultra-efficient llms on end devices},
  author={MiniCPM, Team},
  journal={arXiv preprint arXiv:2506.07900},
  year={2025}
}