MiniCPM 技术报告 | MiniCPM 知识库 | GitHub 仓库 | UltraData | 在线 Demo

English | 中文

亮点

我们正式发布 MiniCPM5-2B，这是继 MiniCPM5-1B 之后 MiniCPM5 系列的第二个模型。它是一款面向端侧、本地部署和资源受限场景的 2B 稠密 Transformer，能够达到同尺寸开源模型 SOTA 水平。

🏆 同尺寸开源模型 SOTA：与同尺寸优秀开源模型相比，MiniCPM5-2B 在该对比范围内达到 SOTA 水平，整体表现可与 4B 级模型竞争，并在代码、数学、长文本、工具调用和 Agent 任务上展现出明显优势。

📂 开放高质量数据：与模型一同开源其背后的高质量训练数据，均属于 UltraData 数据体系：UltraX，高质量网页预训练数据集；UltraData-Code，L0–L3 分级代码治理，推动代码能力显著跃升；UltraData-SFT-Agent-2609，50 万 Agent 训练样本，赋能端侧 Agent 综合能力提升；UltraData-RL-2609，超 8 万条高质量 RL 训练样本，覆盖数学、代码、通用知识与长文本推理。

模型列表

可根据运行环境选择对应的模型格式：

MiniCPM5-2B

• MiniCPM5-2B · ModelScope · BF16 正式版（经过 RL + OPD 后训练） 👈 当前页面
• MiniCPM5-2B-SFT · ModelScope · BF16 SFT 独立 checkpoint（RL / OPD 之前）
• MiniCPM5-2B-Midtrain · ModelScope · BF16 中期训练 checkpoint（SFT 之前）
• MiniCPM5-2B-Base · ModelScope · BF16 基座 checkpoint（仅预训练）
• MiniCPM5-2B-GGUF · ModelScope · GGUF，适用于 llama.cpp / Ollama / LM Studio
• MiniCPM5-2B-MLX · ModelScope · MLX / 4bit，适用于 Apple Silicon
• MiniCPM5-2B-GPTQ · ModelScope · GPTQ / 4bit 量化模型
• MiniCPM5-2B-DSpark · ModelScope · DSpark 草稿模型，用于推理加速
• MiniCPM5-2B-LiteRT · ModelScope · MiniCPM5-2B 的 LiteRT-LM 版本

MiniCPM5-1B

• MiniCPM5-1B · ModelScope · BF16 正式版（经过 RL + OPD 后训练）
• MiniCPM5-1B-SFT · ModelScope · BF16 SFT 独立 checkpoint（RL / OPD 之前）
• MiniCPM5-1B-Base · ModelScope · BF16 基座 checkpoint（仅预训练）
• MiniCPM5-1B-GGUF · ModelScope · GGUF，适用于 llama.cpp / Ollama / LM Studio
• MiniCPM5-1B-MLX · ModelScope · MLX / 4bit，适用于 Apple Silicon

模型信息

MiniCPM5-2B 具有以下特性：

• 类型：因果语言模型
• 架构：标准 LlamaForCausalLM
• 参数数量：2,516,756,480
• 非嵌入参数量：1,981,982,720
• 层数：42
• 注意力头（GQA）：16 个 Q 头 / 2 个 KV 头
• 上下文长度：131,072

简介

MiniCPM5-2B 是 MiniCPM5 系列的第二个模型，面向本地助手、编码智能体、工具调用流程以及需要紧凑模型的推理场景。它以较低部署成本提供原生长上下文能力。

评测结果

我们选取 LFM2.5-2.6B、Qwen3.5-2B、Gemma-4-E2B-it 等同规模开源模型进行横向比较，并同时列出 Qwen3.5-4B、granite-4.2-3B、Nemotron-3-Nano-4B、Gemma-4-E4B-it、LFM2.5-8B-A1B 等更大规模模型作为参考。

在这组对比中，MiniCPM5-2B 达到同规模开源模型 SOTA 水平（平均分 53.9 ），也超过了参与对比的全部更大规模模型（最高 51.1）。其优势主要体现在代码推理、数学推理、长文本、工具调用与多智能体任务上。

训练流程

MiniCPM5-2B 的训练过程是 UltraData 分级数据管理体系 的一次完整实践，覆盖 base training、mid-training 与后训练三个阶段。

Base training 采用逐级推进的训练配方，包含 stable training 与 decay training，用于建立基础语言能力与训练稳定性。随后进入 mid-training，进一步强化目标能力并适配数据分布。训练语料来自我们同步开源的 Ultra-FineWeb、Ultra-FineWeb-L3、UltraX、UltraData-Code 与 UltraData-Math。

后训练阶段 分为 SFT、RL 与 OPD 三步。我们首先使用 400B tokens deep-thinking SFT 建立深度思考和通用对话能力，相关 SFT 数据已同步开源为 UltraData-SFT-2605 与 UltraData-SFT-Agent-2609。随后，针对数学、代码、Agent 和写作等方向训练专用 RL teacher（相关数据已同步开源为 UltraData-RL-2609），并通过 On-Policy Distillation (OPD) 将这些 teacher 的能力蒸馏回同一个发布模型。

RL + OPD 带来了什么？

RL + OPD 是 MiniCPM5-2B 后训练中的关键环节。RL 阶段，使用了 JustRL II 阐述的 critic-based 算法，大幅提升训练稳定性，并在多个领域取得了显著收益。在下列基准中，RL + OPD 使推理与通用能力平均提升 ↑ 10.96 分，Agent 能力平均提升 ↑ 6.96 分。

OPD 阶段对 16 个通过 RL 训练得到的专家模型（含 5 个 agentic 专家模型）实现了能力合并。训练方式上，我们在 response 序列的每个位置，分别对学生模型和教师模型 logits 计算全词表的反向 KL 散度，并将其作为优势估计值，替代原有的 verification-based advantage；训练数据上，OPD 直接复用各 RL teacher 训练时的 prompt 作为蒸馏数据，无需额外构造语料。

快速上手

vLLM

pip install "vllm>=0.21"
vllm serve openbmb/MiniCPM5-2B --port 8000

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openbmb/MiniCPM5-2B",
    "messages": [{"role": "user", "content": "你是谁？可以简单介绍一下自己吗？"}],
    "max_tokens": 128,
    "temperature": 1.0
  }'

SGLang

pip install "sglang[srt]>=0.5.16"
python -m sglang.launch_server --model-path openbmb/MiniCPM5-2B --port 30000

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openbmb/MiniCPM5-2B",
    "messages": [{"role": "user", "content": "你是谁？可以简单介绍一下自己吗？"}],
    "max_tokens": 128,
    "temperature": 1.0
  }'

投机采样（DSpark）：我们同步开源了专为 MiniCPM5-2B 训练的 DSpark 草稿模型 MiniCPM5-2B-DSpark。在 SGLang 中启用后，可加速解码过程，同时保持目标模型的输出不变：

python -m sglang.launch_server \
  --model-path openbmb/MiniCPM5-2B \
  --trust-remote-code \
  --speculative-algorithm DSPARK \
  --speculative-draft-model-path openbmb/MiniCPM5-2B-DSpark \
  --speculative-dspark-block-size 7 \
  --port 30000

Transformers

pip install -U "transformers>=5.6" accelerate torch

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "openbmb/MiniCPM5-2B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)
messages = [{"role": "user", "content": "你是谁？可以简单介绍一下自己吗？"}]
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    enable_thinking=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

推荐采样参数：temperature=1.0, top_p=0.95

工具调用

工具调用推荐使用 SGLang。MiniCPM5-2B 以 XML 格式生成工具调用，SGLang 内置的 minicpm5 parser 会将其自动转换为 OpenAI 兼容的 tool_calls 字段。

python -m sglang.launch_server --model-path openbmb/MiniCPM5-2B --port 30000 \
    --tool-call-parser minicpm5      # 或：--tool-call-parser auto

GitHub Cookbooks 与 Agent Skills

MiniCPM5-2B 采用标准 LlamaForCausalLM 架构，主流推理引擎可直接加载，无需自定义算子，也无需 fork 模型代码。逐步部署与微调说明请参考下方 GitHub Cookbooks；Agent Skills 以 GitHub 资源形式提供，面向使用 Cursor / Claude Code 类 coding agent 的用户。

部署

微调

其他支持的框架

除上述部署与微调框架外，MiniCPM5-2B 还支持通过 FlagOS 进行多芯片部署。

FlagOS 介绍

为解决不同 AI 芯片大规模落地应用的问题，北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构，共同发起并创立了 FlagOS 开源社区。

FlagOS 社区致力于打造面向多种 AI 芯片的统一、开源系统软件栈，涵盖大型算子库、统一 AI 编译器、并行训推框架、统一通信库等核心开源项目，构建“模型-系统-芯片”三层贯通的开放技术生态；通过“一次开发、跨芯迁移”释放硬件计算潜力，打破不同芯片软件栈之间的生态壁垒，有效降低开发者的迁移成本。FlagOS 社区构建人工智能软硬件生态，突破单一闭源垄断，推动 AI 硬件技术大范围落地发展，立足中国、拥抱全球合作。

官网入口：https://flagos.io

pip install flag-gems==4.2.1rc0
pip install triton==3.5.1

import flag_gems
flag_gems.enable(record=True, once=True, path="/root/gems.txt")

vllm serve ${model_path} \
--trust-remote-code \
--dtype bfloat16 \
--enforce-eager \
--port ${Port} \
--served-model-name ${model_name} \
--gpu-memory-utilization 0.85

局限性与免责声明

本模型不具备自主意识或法律主体资格。其输出仅为基于统计模式的文本生成结果，可能不准确、带有偏见或具有冒犯性，也可能在精心设计的提示词（“越狱”）引导下生成不符合预期的内容。对于政治、健康、金融、法律等敏感话题的回答未经专家审核，不应视为专业建议。

本模型按“现状”提供，不附带任何明示或默示担保，开发者不对因使用本模型而产生的任何损害承担责任。使用者应仅将模型用于合法、合规且符合伦理的目的，自行配置必要的安全措施，并依据当地要求标识 AI 生成内容；不得故意实施越狱、注入攻击或诱导模型生成有害内容；如进行此类测试，相关风险由使用者自行承担。

开源协议

MiniCPM 模型权重与相关代码依照 Apache-2.0 协议发布。

引用

如果我们的工作对您有所帮助，请引用：

@article{minicpm4,
  title={Minicpm4: Ultra-efficient llms on end devices},
  author={MiniCPM, Team},
  journal={arXiv preprint arXiv:2506.07900},
  year={2025}
}