GitHub 代码库 | 技术报告

👋 加入我们的 Discord 和 微信 社群

最新动态

• [2025.06.06] MiniCPM4 系列正式发布！该模型在保持同等规模下最佳性能的同时，实现了极致的效率提升！
• [2025.06] 昇腾 NPU 适配 — BitCPM4-0.5B 通过 vLLM-Ascend 在华为昇腾 910B2 NPU 上完成验证，与 CPU 基准相比，实现了 100% 的 top-1 token 准确率 和 <1% 的概率误差。

MiniCPM4 系列

MiniCPM4 系列是专为端侧设备设计的高效能大语言模型（LLMs），通过在模型架构、训练数据、训练算法和推理系统四个关键维度的系统性创新，实现了高效能目标。

• MiniCPM4-8B：MiniCPM4 的旗舰模型，具有 80 亿参数，在 8T tokens 上训练。
• MiniCPM4-0.5B：MiniCPM4 的小型版本，具有 0.5B 参数，在 1T tokens 上训练。
• MiniCPM4-8B-Eagle-FRSpec：用于 FRSpec 的 Eagle 引导模型，加速 MiniCPM4-8B 的推测式推理。
• MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu：采用 QAT 训练的 FRSpec Eagle 引导模型，高效整合推测与量化，为 MiniCPM4-8B 实现极致加速。
• MiniCPM4-8B-Eagle-vLLM：vLLM 格式的 Eagle 引导模型，加速 MiniCPM4-8B 的推测式推理。
• MiniCPM4-8B-marlin-Eagle-vLLM：vLLM 格式的量化 Eagle 引导模型，加速 MiniCPM4-8B 的推测式推理。
• BitCPM4-0.5B：对 MiniCPM4-0.5B 应用极致三值量化，将模型参数压缩为三值。（⬅ 您当前所在位置）
• BitCPM4-1B：对 MiniCPM3-1B 应用极致三值量化。
• MiniCPM4-Survey：基于 MiniCPM4-8B，可自主生成可信的长篇综述论文。
• MiniCPM4-MCP：基于 MiniCPM4-8B，可自主调用相关 MCP 工具。

简介

BitCPM4是基于MiniCPM系列模型通过量化感知训练（QAT）得到的三值量化模型，在训练效率和模型参数效率方面均实现了显著提升。

• 训练方法的改进
  • 在小模型上通过风洞实验搜索超参数。
  • 采用两阶段训练方法：先进行高精度训练，再进行QAT。
• 高参数效率
  • 以仅1.58比特的位宽，实现了与相似参数量全精度模型相当的性能。

使用方法

使用Transformers进行推理

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

path = "openbmb/BitCPM4-0.5B"
device = "cuda"

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map=device, trust_remote_code=True)

messages = [
    {"role": "user", "content": "推荐5个北京的景点。"},
]
model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

model_outputs = model.generate(
    model_inputs,
    max_new_tokens=1024,
    top_p=0.7,
    temperature=0.7
)

output_token_ids = [
    model_outputs[i][len(model_inputs[i]):] for i in range(len(model_inputs))
]

responses = tokenizer.batch_decode(output_token_ids, skip_special_tokens=True)[0]
print(responses)

使用 vLLM-Ascend（华为昇腾 NPU）进行推理

from vllm import LLM, SamplingParams

llm = LLM(
    model="openbmb/BitCPM4-0.5B",  # or local path
    max_model_len=1024,
    gpu_memory_utilization=0.7,
    enforce_eager=True,
    trust_remote_code=True,
)

sampling_params = SamplingParams(max_tokens=128, temperature=0.7)
outputs = llm.generate(["What is artificial intelligence?"], sampling_params)
print(outputs[0].outputs[0].text)

评测结果（原始数据）

BitCPM4 的性能与同模型规模的其他全精度模型相当。

Ascend NPU 适配与评测报告

本部分针对 BitCPM4-0.5B 在华为昇腾 Ascend 910B2 NPU 上通过 vLLM-Ascend 进行推理的适配验证与性能评估。

环境信息

模型配置

适配结论

✅ 零代码修改，完全适配成功

BitCPM4-0.5B 使用 MiniCPMForCausalLM 架构，该架构已被 vLLM 和 vLLM-Ascend 原生支持。所有 MiniCPM 特有参数（scale_emb、scale_depth、dim_model_base、longrope RoPE 缩放等）均被正确解析。

精度评测

评测方法

以 CPU (PyTorch transformers + float32) 推理结果为参考基线，对比 NPU (vLLM-Ascend + bfloat16) 推理结果的 top-k token 预测概率。使用 7 组不同主题的测试 prompt，分别采集 CPU 和 NPU 的 next-token 预测分布进行逐项比对。

精度对比表

精度评测汇总

结论: NPU (bfloat16) 输出与 CPU (float32) 参考的 Top-1 预测完全一致，概率平均误差 0.84%，远低于 1% 的精度偏差阈值。极个别 prompt 的 top-1 概率误差达到 3.76%，但这是因为 CPU top-1 概率本身较低（subset 0.41 vs NPU 0.40），绝对差值仅 0.0155，不影响最终 token 选择。整体精度完全满足生产部署要求。

Top-10 概率分布对比 (CPU vs NPU)

Prompt: "The capital of France is"
Rank | CPU Token   | CPU Prob | NPU Token   | NPU Prob | Match
-----|-------------|----------|-------------|----------|------
1    | 'a'         | 0.353706 | 'a'         | 0.352359 | ✅
2    | 'Paris'     | 0.275060 | 'Paris'     | 0.274417 | ✅
3    | 'known'     | 0.052770 | 'known'     | 0.054036 | ✅
4    | 'the'       | 0.034749 | 'the'       | 0.032774 | ✅
5    | 'not'       | 0.021897 | 'not'       | 0.022526 | ✅
6    | 'named'     | 0.018752 | 'located'   | 0.018674 | 
7    | 'located'   | 0.018359 | 'named'     | 0.018674 | 
8    | 'widely'    | 0.014278 | 'widely'    | 0.014544 | ✅
9    | 'an'        | 0.013214 | 'an'        | 0.013662 | ✅
10   | 'held'      | 0.012054 | 'held'      | 0.012835 | ✅

性能评测

吞吐量测试 (Batch=10)

单请求延迟 (max_tokens=128)

长上下文测试 (252 input tokens)

显存使用

典型生成示例

示例 1

Input: "What is artificial intelligence?" Output:

Artificial intelligence (AI) is the simulation of human intelligence processes by computer systems. These processes include learning (the acquisition of information and rules for using the information), reasoning (using rules to reach approximate or definite conclusions) and self-correction.

示例 2

Input: "请用中文简单介绍一下你自己。" Output:

我是 MiniCPM4，一个高效的语言模型，可以在各种设备上...

声明

• 作为语言模型，MiniCPM 通过学习海量文本生成内容。
• 但它不具备理解能力，也无法表达个人观点或价值判断。
• MiniCPM 生成的任何内容均不代表模型开发者的观点或立场。
• 因此，用户在使用 MiniCPM 生成的内容时，应自行承担全部评估和验证责任。

许可证

• 本仓库及 MiniCPM 模型基于 Apache-2.0 许可证发布。

引用

• 如果您认为我们的工作有价值，请引用我们的 论文。

@article{minicpm4,
  title={{MiniCPM4}: Ultra-Efficient LLMs on End Devices},
  author={MiniCPM Team},
  year={2025}
}