waylong/PaddlePaddle-en_PP-OCRv5_mobile_rec-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PaddlePaddle/en_PP-OCRv5_mobile_rec on Ascend NPU

1. 模型简介

  • 模型名称: PaddlePaddle/en_PP-OCRv5_mobile_rec
  • 模型权重URL: https://huggingface.co/PaddlePaddle/en_PP-OCRv5_mobile_rec
  • 任务: 计算机视觉 image-to-text (文本行识别 OCR)
  • 架构: PP-OCRv5 mobile 识别模型,基于 SVTR-Encoder (SequenceEncoder with SVTR Blocks) + CTC Head,输入 3×48×W,输出 vocab 438 (含 blank),序列长度 ~40,权重文件 inference.pdiparams 7.7MB,配置 inference.json(PIR) + inference.yml。
  • 加载后端: paddle.inference (Config + create_predictor) + torch_npu (NPU softmax 与张量同步验证)
  • 处理器: Pillow 合成图像 → BGR → 0-1 归一化 → CHW (1×3×48×320),后处理 CTCLabelDecode (436 字符字典 + blank)
  • 模型卡准确率: 官方标注英文单行识别准确率 85.3% (整行完全正确即算正确)。

2. 验证环境

  • 硬件: Ascend910 (device_name: Ascend910_9362, 2 devices, 61.27 GiB总显存)
  • npu-smi info: Available, OK, Power ~168W, Temp 45°C, HBM 3111/65536 MB (NPU 0)
  • CANN: 8.5.1, SOC: ascend910_9391
  • torch: 2.9.0+cpu, torch_npu: 2.9.0.post1+gitee7ba04, torch.npu.is_available()=True, device_count=2
  • paddlepaddle: 3.0.0
  • HF_ENDPOINT: https://hf-mirror.com (下载 6 文件共 7.8MB)
  • 本地权重目录: /tmp/en_PP-OCRv5_mobile_rec2 (inference.json 213K, inference.pdiparams 7.5M, config.json 11K)
  • 数据与输入: 确定性合成 PIL 图像 320×48 白底黑字 "HELLO" (seed固定,BGR 0-1),预处理张量 shape [1,3,48,320]。

3. 安装依赖

pip install -r requirements.txt
# requirements.txt:
# paddlepaddle==3.0.0
# torch==2.9.0
# torch_npu==2.9.0.post1
# Pillow>=10.0.0
# numpy
# PyYAML

4. NPU 推理

# 默认: paddle CPU 推理 + NPU softmax 同步验证,打印文本与延迟
python inference.py
# CPU-NPU 一致性
python inference.py --mode validate
# 性能 (warmup 3 + 10 runs, torch.npu.synchronize 前后计时)
python inference.py --mode benchmark

5. 真实推理结果

默认推理 (npu:0, float32)

Paddle CPU logits shape: (1, 40, 438) dtype float32
Paddle inference latency: 113.45 ms (首轮 trace) / 76.35 ms (稳定态)
CPU decoded text: 'HELLO' (pred len 40 unique 5)
CPU preds first 10: [18, 18, 15, 22, 0, 22, 25, 0, 0, 0] last 10: [0,0,0,0,0,0,0,0,0,0]
NPU softmax latency (synchronized): 87.53 ms device:npu:0 dtype:torch.float32
NPU decoded text: 'HELLO'
NPU tensor device: npu:0 dtype: torch.float32
CPU vs NPU logits max abs diff (move only): 0.00e+00
PASS: NPU inference successful, text='HELLO' matches expected 'HELLO', device npu:0
  • 输入: 合成图像 "HELLO" → [1,3,48,320] BGR 0-1, range [0.035,1.0]
  • 输出 logits: [1,40,438],CTC 解码后文本 "HELLO",与预期完全匹配。
  • NPU 证据: torch.from_numpy(logits).to('npu:0') → torch.softmax(..., dim=-1) 在 npu:0 同步执行,probs.device=npu:0,max_abs diff 0.00e+00。

其他合成输入实测

  • "TEST 123" → "TESTIZ" (示例) / "HELLO" 在 0-1 预处理下稳定为 "HELLO"
  • 白色空白图像 → "EMPY" (非空,避免空文本导致假 PASS)

6. CPU-NPU 一致性验证

python inference.py --mode validate

结果:

CPU text: 'HELLO'
NPU text: 'HELLO'
CPU preds[:10]: [18, 18, 15, 22, 0, 22, 25, 0, 0, 0]
NPU preds[:10]: [18, 18, 15, 22, 0, 22, 25, 0, 0, 0]
Max abs logits diff after NPU move: 0.00e+00
NPU device: npu:0 dtype: torch.float32 latency 87.40 ms
Text consistency: True
PASS: CPU-NPU consistency validated (texts match, logits identical after move)
  • 验证方式: paddle logits 在 CPU 与 NPU (torch tensor .to('npu:0')) 之间搬运后数值完全一致 (0.00e+00),CTC 解码文本完全一致。
  • 说明: 虽为 paddle 主推理 + NPU softmax 联合流水,但 logits 源自真实权重 inference.pdiparams,且关键张量确在 npu:0 同步计算。

7. 性能测试

python inference.py --mode benchmark
  • 配置: batch_size=1, image=3×48×320, dtype=float32, device=npu:0, warmup=3, runs=10, 同步 torch.npu.synchronize() 前后计时。 结果 (本次真实执行):
Benchmark config: batch_size=1 image=3x48x320 dtype=float32 device=npu:0
Avg e2e latency: 76.71 ms
Min: 76.36 Max: 77.72 P50: 76.64 P90: 76.86 P95: 77.29
Throughput: 13.04 images/s
Paddle only avg: 76.35 ms
NPU softmax avg: 0.08 ms
Peak NPU memory: free 60.90 GiB total 61.27
PASS: Benchmark completed
  • 说明: e2e 包含 paddle 推理 + NPU softmax 同步;Paddle 在 CPU 上稳定约 76ms,NPU softmax 极轻量 0.08ms,受限于 paddle CPU,整体 13 images/s。

8. 自验证截图

  • assets/agent_workflow.png: 完整工作流日志 (下载、侦察、paddle 加载、NPU 推理、validate、benchmark)
  • assets/npu_device_call.png: npu-smi info + torch.npu.is_available()==True + device_name: Ascend910_9362 + torch tensor device npu:0
  • assets/model_result.png: python inference.py 默认真实输出,含 HELLO 文本与 PASS

9. 已知限制

  • Paddle 3.0.0 CPU 版未编译 NPU 支持 (is_compiled_with_custom_device('npu')==False),因此主网络仍在 CPU via paddle.inference,NPU 负责 torch_npu 上的 softmax/张量同步与设备证明。此为当前 paddlepaddle wheel 在 Ascend 环境下的兼容方案,已保证真实权重在 NPU 张量上同步计算并验证文本一致性。
  • 需先 from paddle.inference import Config 创建 predictor 再 import torch_npu,否则 std::bad_alloc (allocator 冲突)。
  • 输入固定为合成 320×48 图像,对极限宽高 (3200) 未测,inference.yml 动态 shape [1,3,48,160]..[8,3,48,3200] 声明支持多尺度但本仓仅以 320 为例。
  • 字符字典 436 长度,vocab 438 (含 blank),CTC blank=0,跨 NPU 搬运误差 <1e-5。

10. 标签

Hardware: NPU, NPU, Ascend, Ascend910