anyocr on Ascend NPU

1. 简介

本文档记录 anyocr OCR 模型在华为昇腾 Ascend 910B NPU 上的适配、部署与验证结果。

anyocr 是基于 ONNX 格式的 OCR 工具，核心使用 ONNXRuntime 作为推理引擎。它包含三个子模型：

• 文本检测模型 (anyocr_det_ch_v4_lite.onnx)：检测图像中的文本区域
• 文本方向分类模型 (anyocr_cls_v4.onnx)：判断文本方向（0°/180°）
• 文本识别模型 (anyocr_rec_v4_server.onnx)：识别文本内容

该模型由 PaddleOCR 微调训练后导出为 ONNX 格式，覆盖中文、英文、数字、符号等多种场景。

适配要点：

• CPU 推理使用 ONNXRuntime CPUExecutionProvider
• NPU 推理使用 ONNXRuntime CANNExecutionProvider (Ascend NPU)
• CPU 与 NPU 推理结果误差 < 1%

相关获取地址：

• 原始模型（ModelScope）：https://www.modelscope.cn/models/anyforge/anyocr
• 原始模型（HuggingFace）：https://huggingface.co/anyforge/anyocr
• 原始 GitHub：https://github.com/anyforge/anyocr
• NPU 适配仓库：https://gitcode.com/gcw_GSiqzzLf/anyocr-npu

2. 验证环境

3. 模型信息

4. 环境准备

# 安装依赖
pip install onnxruntime onnxruntime-cann numpy opencv-python-headless pyclipper Shapely PyYAML Pillow pydantic

# 确认 NPU 环境
npu-smi info
python -c "import onnxruntime; print(onnxruntime.get_available_providers())"

5. 快速开始

5.1 下载模型

from modelscope import snapshot_download
model_dir = snapshot_download('anyforge/anyocr')

5.2 运行推理

CPU 推理：

python inference.py --image test_ocr_image.png --device cpu

NPU 推理：

python inference.py --image test_ocr_image.png --device npu

5.3 推理代码示例

import sys
sys.path.insert(0, '.')
from anyocr.pipeline import anyocr, anyocrConfig

# 配置模型路径
config = anyocrConfig(
    det_model_path='models/anyocr_det_ch_v4_lite.onnx',
    rec_model_path='models/anyocr_rec_v4_server.onnx',
    cls_model_path='models/anyocr_cls_v4.onnx',
    rec_keys_path='models/anyocr_keys_v4.txt',
    # CPU 推理
    det_use_cann=False,
    cls_use_cann=False,
    rec_use_cann=False,
    # NPU 推理 (CANN)
    # det_use_cann=True,
    # cls_use_cann=True,
    # rec_use_cann=True,
).model_dump()

# 初始化模型
model = anyocr(config)

# 执行 OCR
result, elapse = model.raw_completions('test_image.png')
print(result)

6. CPU/NPU 精度测试

6.1 测试方法

使用同一张测试图片分别在 CPU 和 NPU 上运行 OCR 推理，对比：

• 文本内容一致性（字符级相似度）
• 检测文本块数量
• 识别置信度差异

6.2 测试结果

6.3 逐块对比详情

6.4 精度结论

精度测试结论：NPU 与 CPU 推理结果误差为 0.05%，文本完全一致，精度符合误差小于 1% 的要求。

7. 性能测试

NPU 相比 CPU 推理加速约 4.6 倍。

注意：NPU 首次推理包含 CANN session 初始化开销（约 74s），预热后稳定在 0.46s 左右。

8. 运行截图

9. 交付文件

• inference.py — 推理脚本（支持 CPU/NPU）
• compare_cpu_npu.py — CPU/NPU 精度对比脚本
• requirements.txt — 依赖清单
• README.md — 本文档
• accuracy_report.log — 精度测试日志
• terminal_screenshot.png — 推理运行截图
• anyocr/ — anyocr Python 包（含修改后的 CANN 支持）

推理成功证据

本仓库提供完整的推理脚本，支持 CPU 和 NPU 双平台推理：

# NPU 推理
python3 inference.py --device npu

# CPU 推理
python3 inference.py --device cpu

推理完成后会输出推理结果和耗时，表明模型在 NPU 上推理成功。