TrOCR-Large-Handwritten 在 Ascend NPU 上的推理适配

1. 简介

本项目对 microsoft/trocr-large-handwritten 模型在华为昇腾 Ascend NPU 上进行适配，基于 transformers + torch_npu 实现手写体 OCR 推理。

TrOCR (Transformer-based Optical Character Recognition) 是微软推出的基于 Transformer 的端到端 OCR 模型，采用经典的 Encoder-Decoder 架构：

• Encoder: ViT (Vision Transformer)，将图像分割为 Patch 序列并提取视觉特征
• Decoder: TrOCR (基于 RoBERTa 的因果语言模型)，根据视觉特征自回归生成文本

Large 版本配置：

模型获取地址：

• HuggingFace: https://huggingface.co/microsoft/trocr-large-handwritten

2. 验证环境

• NPU: Ascend910B4 (1 逻辑卡)
• CANN: 8.5.1
• 模型路径: /opt/atomgit/trocr-large-handwritten

3. 模型下载

使用 HuggingFace 国内镜像下载：

export HF_ENDPOINT=https://hf-mirror.com

# 下载配置文件
python3 -c "
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from huggingface_hub import snapshot_download
snapshot_download('microsoft/trocr-large-handwritten', allow_patterns=['config.json', '*.md', '*tokenizer*', '*.json', 'vocab.*', 'merges.*', 'special_tokens*'], local_dir='./trocr-large-handwritten')
"

# 下载权重文件
wget -c 'https://hf-mirror.com/microsoft/trocr-large-handwritten/resolve/main/pytorch_model.bin' -P ./trocr-large-handwritten

4. 推理脚本

依赖安装

pip install torch torch_npu transformers pillow -i https://pypi.tuna.tsinghua.edu.cn/simple

单图推理

# NPU 推理
python3 inference.py --image_path /path/to/image.png --device npu:0

# CPU 推理（对比）
python3 inference.py --image_path /path/to/image.png --device cpu

# Benchmark 模式
python3 inference.py --image_path /path/to/image.png --device npu:0 --benchmark

推理脚本会自动检测 NPU 设备可用性，如果 NPU 不可用则回退到 CPU。

推理流程

1. 使用 TrOCRProcessor 加载图像并进行预处理（resize 至 384x384，归一化）
2. 将 pixel_values 移至 NPU 设备
3. 调用 model.generate() 自回归生成文本 token
4. 使用 processor.batch_decode() 将 token 序列解码为文本

5. 精度评测

评测方法

生成 5 张包含多行手写体文本的合成测试图像（384x384），分别使用 NPU 和 CPU 推理，对比：

• Encoder 数值差异：对比 ViT Encoder 输出的最大/平均差异
• NPU vs CPU 文本一致性：NPU 与 CPU 生成的文本是否一致
• NPU 自一致性：NPU 两次推理是否产生相同结果

运行评测

# NPU 精度测试
python3 accuracy.py --model_path /opt/atomgit/trocr-large-handwritten --device npu:0

精度测试结果

详细结果

说明: Encoder 输出的数值差异源于 NPU 与 CPU 硬件实现的差异（如 GELU、LayerNorm 等算子的不同实现）。尽管存在数值差异，自回归解码过程中 NPU 与 CPU 生成了完全相同的 token 序列，文本输出完全一致。

结论: TrOCR-Large-Handwritten 在 Ascend NPU 上的推理结果与 CPU 完全一致（100% 匹配），精度通过验证。

6. 性能参考

注：具体性能数据取决于实际运行环境和输入图像大小。上述数据为单次 warm 推理耗时。

7. 注意事项

1. 输入图像建议为 RGB 格式，模型内部会自动 resize 至 384x384
2. 模型适用于手写体英文识别，对手写体或多语言场景请使用对应微调版本
3. NPU 推理前确保已安装 torch_npu 并可通过 torch.npu.is_available() 检测
4. 生成参数可在 model.generate() 中自定义（如 num_beams, max_length 等）