Nemotron OCR v2

模型概述

描述

Nemotron OCR v2 是一款先进的多语言文本识别模型，专为复杂真实场景图像的端到端光学字符识别（OCR）任务设计。它集成了三个核心神经网络模块：用于文本区域定位的检测器、用于识别检测区域文本的识别器，以及用于布局和结构分析的关系模型。

该模型针对多种 OCR 任务进行了优化，包括多行文、多区块文本以及自然场景文本识别，并通过其关系模型组件支持高级阅读顺序分析。Nemotron OCR v2 支持多种语言，旨在实现生产级部署和商业应用，重点关注文档和自然场景图像上的处理速度与识别精度。

Nemotron OCR v2 是 NVIDIA NeMo Retriever 系列的一部分，该系列提供了先进的、可商用的模型和微服务，针对最低延迟和最高吞吐量进行了优化。它具备生产就绪的信息检索 pipeline，并提供企业级支持。构成此解决方案核心的模型均使用经过负责任选择且可审计的数据源进行训练。凭借多个预训练模型作为起点，开发人员可以轻松针对特定领域用例进行定制，例如信息技术、人力资源帮助助手以及研发助手等场景。

本模型已准备好投入商业使用。

许可/使用条款

本模型的使用受 NVIDIA Open Model License Agreement 约束，后处理脚本的使用则受 Apache 2.0 许可协议管辖。

发布日期：

Hugging Face（本仓库）：nvidia/nemotron-ocr-v2
Build.Nvidia.com 2026年4月15日，链接：https://build.nvidia.com/nvidia/nemotron-ocr-v2
NGC 2026年4月15日，链接：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/nemoretriever-ocr-v2

部署地区

全球

应用场景

Nemotron OCR v2 旨在高精度、高速地从多语言图像中提取文本信息，非常适合为多模态检索系统、检索增强生成（RAG）管道以及需要无缝集成视觉与语言理解的智能体应用提供支持。其强大的多语言性能和高效性使其成为下一代人工智能系统的理想选择，这些系统需要在多样化的现实世界内容中兼具精度和可扩展性。

模型架构

架构类型：具有文档级关系建模的混合检测-识别架构

Nemotron OCR v2 提供两个版本：

• v2_english — 针对英语 OCR 优化，支持单词级区域处理。
• v2_multilingual — 支持英语、中文（简体和繁体）、日语、韩语和俄语，对多语言文档采用行级区域处理。

两个版本共享相同的三组件架构：

• 文本检测器：采用 RegNetX-8GF 卷积骨干网络，用于高精度定位图像中的文本区域。
• 文本识别器：使用基于预归一化 Transformer 的序列识别器，对检测到的区域进行文本转录，支持可变的单词和行长度。
• 关系模型：应用多层全局关系模块，预测检测到的文本元素之间的逻辑分组、阅读顺序和布局关系。

所有组件均采用端到端方式联合训练，为多样化的文档和场景图像提供稳健、可扩展且可投入生产的 OCR 解决方案。

网络架构：RegNetX-8GF

识别器对比

两个版本共享相同的检测器和关系架构，但识别器容量不同：

参数数量

v2_english（来自 v2_english/）：

v2_multilingual（来自 v2_multilingual/）：

输入

输出

样例输出

ocr_boxes = [[[15.552736282348633, 43.141815185546875],
  [150.00149536132812, 43.141815185546875],
  [150.00149536132812, 56.845645904541016],
  [15.552736282348633, 56.845645904541016]],
 [[298.3145751953125, 44.43315124511719],
  [356.93585205078125, 44.43315124511719],
  [356.93585205078125, 57.34814453125],
  [298.3145751953125, 57.34814453125]],
 [[15.44686508178711, 13.67985725402832],
  [233.15859985351562, 13.67985725402832],
  [233.15859985351562, 27.376562118530273],
  [15.44686508178711, 27.376562118530273]],
 [[298.51727294921875, 14.268900871276855],
  [356.9850769042969, 14.268900871276855],
  [356.9850769042969, 27.790447235107422],
  [298.51727294921875, 27.790447235107422]]]

ocr_txts = ['The previous notice was dated',
 '22 April 2016',
 'The previous notice was given to the company on',
 '22 April 2016']

ocr_confs = [0.97730815, 0.98834222, 0.96804602, 0.98499225]

我们的 AI 模型经过专门设计和/或优化，可在 NVIDIA GPU 加速系统上运行。通过利用 NVIDIA 的硬件（例如 GPU 核心）和软件框架（例如 CUDA 库），与仅使用 CPU 的解决方案相比，该模型实现了更快的训练和推理时间。

用法

前提条件

• 操作系统：带有 NVIDIA GPU 的 Linux amd64
• CUDA 工具包，且 nvcc 已添加到 PATH 中。工具包版本必须与您安装的 PyTorch 版本兼容（主版本号相同）。例如，如果您安装的 torch 带有 CUDA 12.8 绑定，则需要 CUDA 工具包 12.x。可通过 nvcc --version 和 nvidia-smi 命令进行验证。
• Python：3.12（该软件包要求 >=3.12,<3.13）
• 构建工具（用于在安装时编译 C++ CUDA 扩展）：
  • 支持 C++17 的 GCC/G++
  • CUDA 工具包头文件
  • OpenMP

安装

该软件包包含一个 C++ CUDA 扩展，将在安装过程中进行编译。由于该扩展必须针对与系统 CUDA 工具包相同的 PyTorch CUDA 版本进行构建，因此请先安装 PyTorch，然后使用 --no-build-isolation 选项安装此软件包，以便其使用您已有的 PyTorch。

1. 克隆仓库

• 确保已安装 git-lfs（https://git-lfs.com）

git lfs install
git clone https://huggingface.co/nvidia/nemotron-ocr-v2

2. 安装

使用 pip

• 创建并激活 Python 3.12 环境
• 安装与您的 CUDA 工具包匹配的 PyTorch（请参见 https://pytorch.org/get-started/locally/）：

# Example for CUDA 12.8:
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128

• 安装软件包：

cd nemotron-ocr
pip install --no-build-isolation -v .

• 验证 C++ 扩展是否加载：

python -c "from nemotron_ocr.inference.pipeline_v2 import NemotronOCRV2; print('OK')"

使用 Docker

无需在主机上安装任何额外软件（除了 Docker、docker compose 和 NVIDIA Container Toolkit），即可端到端运行示例：

• 确保 Docker 能够识别您的 GPU：

docker run --rm --gpus all nvcr.io/nvidia/pytorch:25.09-py3 nvidia-smi

• 从仓库根目录启动服务以运行示例（若存在示例图片 ocr-example-input-1.png）：

docker compose run --rm nemotron-ocr \
  bash -lc "python example.py ocr-example-input-1.png --merge-level paragraph"

这将：

• 从提供的 Dockerfile（基于 nvcr.io/nvidia/pytorch）构建镜像
• 将代码库挂载到 /workspace
• 运行 example.py（首次运行时会从 Hugging Face 下载 v2 multilingual，除非您传递 --model-dir）

输出文件会保存在主机上输入图像的同级目录，命名为 <name>-annotated.<ext>。

3. 使用以下代码运行模型。

使用 nemotron_ocr.inference.pipeline_v2.NemotronOCRV2。不带参数时，会从 Hugging Face 下载检查点：默认为 v2 multilingual 模型包（nvidia/nemotron-ocr-v2 / v2_multilingual/）。使用 lang="en" 可指定 English v2 版本（nvidia/nemotron-ocr-v2 / v2_english/），或传递 model_dir 从本地磁盘加载（任何完整的检查点文件夹；此时 lang 参数会被忽略）。

from nemotron_ocr.inference.pipeline_v2 import NemotronOCRV2

# Default: Hugging Face v2 multilingual
ocr = NemotronOCRV2()

# English v2 (Hub, word-level)
ocr_en = NemotronOCRV2(lang="en")

# Multilingual v2 explicitly (same default as NemotronOCRV2())
# Uses the line-level variant.
ocr_multi = NemotronOCRV2(lang="multi")

# Local directory with detector.pth, recognizer.pth, relational.pth, charset.txt
ocr_local = NemotronOCRV2(model_dir="./v2_multilingual")

predictions = ocr("ocr-example-input-1.png")

for pred in predictions:
    print(
        f"  - Text: '{pred['text']}', "
        f"Confidence: {pred['confidence']:.2f}, "
        f"Bbox: [left={pred['left']:.4f}, upper={pred['upper']:.4f}, right={pred['right']:.4f}, lower={pred['lower']:.4f}]"
    )

推理模式

# Detector only — returns bounding boxes without text recognition.
# Loads only the detector (~37% less GPU memory, ~20% faster).
ocr_det = NemotronOCRV2(detector_only=True)
boxes = ocr_det("page.png")
# Each prediction has: confidence, left, right, upper, lower, quad

# Skip relational — returns per-word text without reading-order grouping.
# Skips the relational model (~35% less GPU memory, ~8% faster).
ocr_fast = NemotronOCRV2(skip_relational=True)
words = ocr_fast("page.png", merge_level="word")
# Each prediction has: text, confidence, left, right, upper, lower

# Profiling mode — enables per-phase CUDA-synced timing in the logs.
import logging
logging.basicConfig(level=logging.INFO)
ocr_profile = NemotronOCRV2(verbose_post=True)

构造函数规则

• 您可以通过 lang 或 model_dir 选择模型权重。
• lang（仅关键字参数，Hub 下载路径）：
  • None、"multi" 或 "multilingual" -> v2 多语言（默认）：nvidia/nemotron-ocr-v2 / v2_multilingual/
  • "en" 或 "english" -> v2 英语：nvidia/nemotron-ocr-v2 / v2_english/
  • "v1" 或 "legacy" -> v1 仅英语（向后兼容）：如果未在本地缓存，则从 nvidia/nemotron-ocr-v1 获取
  • 两个 v2 变体（v2_multilingual/ 和 v2_english/）均包含在本仓库中。
• model_dir（本地覆盖）：如果指向完整的本地检查点目录（包含 detector.pth、recognizer.pth、relational.pth、charset.txt），则它将优先并覆盖 lang。
• 如果提供了 model_dir 但目录不完整，则加载将回退到通过 lang 从 Hub 解析（当 lang 为 None 时，默认为 v2 多语言）。

软件集成

运行时引擎：

• PyTorch

支持的硬件微架构兼容性：

• NVIDIA Ampere（安培）
• NVIDIA Blackwell（ Blackwell）
• NVIDIA Hopper（霍珀）
• NVIDIA Lovelace（ Lovelace）

首选/支持的操作系统：

• Linux

模型版本

• 本仓库： Nemotron OCR v2，包含两个变体：v2_english/ 和 v2_multilingual/。
• Hugging Face Hub： nvidia/nemotron-ocr-v2。

训练和评估数据集：

训练数据集

数据模态

• 图像

图像训练数据量

• 约 1200 万张图像

该模型在大规模、精心策划的真实世界和合成 OCR 数据集混合体上进行训练，涵盖多种语言、文字和文档类型。

真实世界数据集（约 68 万张图像）： 自然场景文本、多语言场景文本、任意形状文本、图表和信息图文本、带双语注释的表格图像以及手写文档页面。这些数据涵盖了多样的布局、语言和文档类型。

合成数据集（约 1100 万+张图像）： 六种语言（英语、日语、韩语、俄语、简体中文和繁体中文）的渲染多语言文档页面，以及包含具有退化效果的古体字符的合成历史文档裁剪图像。

按数据集划分的数据收集方法： 混合（自动化、人工、合成）
按数据集划分的标注方法： 混合（自动化、人工、合成）
特性： 包括扫描文档、自然场景图像、图表、表格、信息图、手写文档以及多种语言和文字的合成渲染页面。

评估数据集

Nemotron OCR v2 在 OmniDocBench 上进行评估，这是一个全面的文档 OCR 基准测试集，涵盖英语、中文以及跨多种文档类别的混合语言内容。

数据集的数据收集方法：混合（自动化、人工、合成）
数据集的标注方法：混合（自动化、人工、合成）
特性：基准测试集包含具有挑战性的场景图像、布局多样的文档以及多语言数据。

评估结果

以下表格是 NVIDIA 基准测试（OmniDocBench、SynthDoG）的参考指标。复现这些结果需要未签入此 Hugging Face 仓库的数据集和脚本。

OmniDocBench

OmniDocBench 上的归一化编辑距离（NED）样本平均值（值越低越好）。结果遵循 OmniDocBench 方法（跳过空预测）。所有模型均在裁剪模式下评估。速度在单个 A100 GPU 上测量。

列说明：pages/s 是使用 v2 批处理管道时测得的吞吐量；EN = 英语，ZH = 简体中文，Mixed = 英中混合，White/Single/Multi = 背景类型，Normal/Rotate90/Rotate270/Horizontal = 文本方向。

SynthDoG 生成的基准数据

SynthDoG 生成的基准数据上的归一化编辑距离（NED）页面平均值（值越低越好）：

详细性能分析

该模型在复杂布局、嘈杂背景和具有挑战性的真实场景中展现出强大的多语言性能。阅读顺序和区块检测由关系模块提供支持，可支持图表转文本、表格转文本和信息图表转文本提取等下游应用。

推理
加速引擎： PyTorch
支持的硬件： H100 PCIe/SXM、A100 PCIe/SXM、L40S、L4、A10G、H200 NVL、B200、RTX PRO 6000 Blackwell Server Edition

伦理考量

NVIDIA 认为可信 AI 是一项共同责任，我们已制定相关政策和实践，以支持广泛 AI 应用的开发。当按照我们的服务条款下载或使用时，开发人员应与内部模型团队合作，确保该模型满足相关行业和用例的要求，并应对意外的产品误用问题。
将基础模型和微调模型集成到 AI 系统中，需要使用特定于用例的数据进行额外测试，以确保安全有效的部署。遵循 V 模型方法，在单元和系统层面进行迭代测试和验证，对于在部署前减轻风险、满足技术和功能要求以及确保符合安全和伦理标准至关重要。
请确保您对所有输入图像和视频内容拥有适当的权利和权限；如果图像或视频包含人物、个人健康信息或知识产权，生成的图像或视频不会模糊或保持所包含图像主体的比例。
有关此模型伦理考量的更多详细信息，请参见下文的可解释性、偏见、安全与安全以及隐私部分。
请在此链接报告安全漏洞或 NVIDIA AI 相关问题。

偏见

可解释性

隐私

安全