OpenBMB 开源社区/MiniCPM-OCR-Jev-AWQ
模型介绍
文件和版本
Pull Requests
讨论
分析

MiniCPM logo

GitHub · 使用指南

本仓库托管的是 MiniCPM-OCR Jev 的 AWQ W4A16 量化版本。 原始 BF16 权重及基础模型 卡片请参阅 openbmb/MiniCPM-OCR-Jev。以下内容描述的是模型 本身,关于量化带来的变化请参见 量化说明。 MiniCPM-OCR Jev(2B)是一款面向文本、公式和表格区域的 OCR 质量评估模型。给定区域图像和候选 OCR 结果,它返回一个 0 到 1 的评分 —— 分数越高,表示该候选结果越可能正确。

MiniCPM-OCR Jev

MiniCPM-OCR Jev 是一款 2B 参数的 OCR 质量评估模型,适用于文本、公式和表格 区域。给定区域图像和候选 OCR 结果,它返回一个 0 到 1 的评分 —— 分数越高,表示该候选结果越可能正确。你可以用它来自动采纳可靠的识别结果、 将其余结果路由至人工审核,或在多个 OCR 模型的输出中择优选取。

  • 🛡️ 小模型胜过大模型:仅 2B 参数,在 JevOCRBench 上的决策 AUROC(×100)达到 93.6,超过 JEV-35B-A3B(90.1),接近 Qwen3.5-397B-A17B(93.8)。
  • 🧩 泛化能力稳定:在 MiniCPM-OCR 1.0、GLM-OCR、PaddleOCR-VL-1.6 和 Xiaomi-OCR-0 的解析结果上,AUROC(×100)稳定在 91.9–93.4 区间。

架构

基于 Qwen3.5-2B 训练。保留了视觉编码器和语言主干网络,并将 语言模型输出头 lm_head 替换为二分类头,用于判断候选结果是否正确。

项目说明
评估单元一个文本 / 公式 / 表格区域及其候选 OCR 结果
原始区域图像从文档中裁剪出的区域
候选内容OCR 文本及由该文本渲染生成的图像
输出0–1 之间的评分;越高表示越可能正确

调用云端 API、Docker 镜像或内置渲染器的 SDK 服务时,只需提供原始区域图像、候选文本以及区域 category (text / formula / table)—— 服务内部会自动完成渲染。未内置渲染器的服务则需要额外提供渲染后的图像。

评估结果

下表报告了 JevOCRBench 上的整体及各类别 AUROC(×100)指标。数值越高,表明对正确与错误解析结果的判别能力越强。

Overall, text, formula, and table AUROC on JevOCRBench, highlighting MiniCPM-OCR Jev.

跨 OCR 模型的判别能力

OCR 模型MiniCPM-OCR 1.0GLM-OCRPaddleOCR-VL-1.6Xiaomi-OCR-0
AUROC(×100)92.791.993.493.1

从 JevOCRBench 中随机抽取相同的 200 条样本,由四个模型各自独立解析,所有候选结果均经人工标注后,再由 MiniCPM-OCR Jev 进行评分。最大差距为 1.5 分。

自动筛选以减少人工审核

对每个区域的解析结果进行评分,并使用来自您应用场景的样本设定阈值。高于阈值的结果自动通过,其余则进入人工审核。阈值设得越高,自动通过的结果数量通常越少,因此需要同时关注自动通过结果的准确率与人工审核的工作量。

Accuracy versus review-free rate for legal documents, financial receipts, and complex documents.

跨模型择优以提升解析质量

采用相同的版面分割结果,让多个 OCR 模型分别解析同一区域。MiniCPM-OCR Jev 对同一区域的候选结果进行评分,选出得分最高的候选,并按阅读顺序拼接所选结果。若所有候选均未达到应用阈值,该区域仍可送交人工审核。

Parsing-quality gains from MiniCPM-OCR Jev scoring for MiniCPM-OCR 1.0, Xiaomi OCR, and PaddleOCR-VL 1.6.

同一区域的候选结果必须共享相同的裁剪范围和边界。Jev 仅在现有候选中进行选择,因此最终质量受候选结果的覆盖度和正确性所制约。

示例

下图将原始图像与候选结果 1 和 2 进行对比,展示了 MiniCPM-OCR Jev 如何对文本、公式和表格候选结果进行评分。

Three examples for text, formulas, and tables: original, candidate 1 and candidate 2, with MiniCPM-OCR Jev scores.

快速开始

部署方式指南
云端 API单候选评分、Best-of-N、批量 Best-of-N(占位 — 编写中)
Docker / 本地 SDK环境配置、渲染选项、服务启动
vLLM 后端带渲染器与不带渲染器的服务配置
SGLang部署指南
llama.cppGGUF 部署指南
Ollama部署指南
FlagOS(多芯片)部署指南

当服务内置渲染器时(云端 API、Docker、SDK),使用前请检查 verdict 字段——只有 scored 才表示模型评分确实执行成功。前置检查、渲染或前向推理失败时返回的固定值不应被解读为模型的低分。

流程集成

  1. 解析过程中保留页面/区域 ID、原始区域图像、区域类别以及候选文本。
  2. 提交图像 + 类别 + 候选文本(带渲染器的服务),或图像 + 渲染后图像(不带渲染器的服务)。
  3. 检查状态,将评分与候选结果关联,应用自定义阈值,并在多模型并行时对同一区域内的候选结果进行比较。
  4. 按原始阅读顺序输出选定结果,并将待定区域留待人工审核。

单个候选结果使用 score,块内 Best-of-N 使用 score_best,跨块使用 score_best_batch——详见 API 文档(当前为占位;文档发布前请使用 Jev 的 vLLM 部署指南)。

微调

ms-swift 指南:数据格式、二分类头部配置、训练命令及 JevOCRBench 评估。

量化

字段值
格式compressed-tensors、pack-quantized
权重位数4
分组大小128
激活值BF16(W4A16)
工具llm-compressor
配方recipe.yaml(保留在本仓库中)

权重占用从约 4.43 GB(BF16)降至约 2.41 GB。

文件说明
model.safetensors4-bit 量化权重
config.json基础配置 + quantization_config
recipe.yaml量化配方(AWQ/GPTQ 修饰器、层映射)
tokenizer / chat template / processor 配置tokenizer 和 processor 配置

服务名称和请求格式与基础模型相同:

vllm serve openbmb/MiniCPM-OCR-Jev-AWQ \
  --served-model-name MiniCPM-OCR-Jev \
  --trust-remote-code

相关模型版本

格式Hugging FaceModelScope
BF16(原始版)(本仓库)🤗ModelScope
GGUF(llama.cpp)🤗ModelScope
AWQ W4A16🤗ModelScope
GPTQ W4A16🤗ModelScope

Jev 可处理任意解析器输出的候选结果。配套解析器为 MiniCPM-OCR 1.0。

常见问题

安装、模型下载、显存占用、输入格式及异常输出等: 常见问题。

许可证

模型权重、代码及文档基于 Apache License 2.0 发布。