gcw_6a3w2yXz/kha-white-manga-ocr-base-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

kha-white/manga-ocr-base on Ascend NPU

1. 模型简介

  • 模型名称: kha-white/manga-ocr-base
  • 权重地址: https://huggingface.co/kha-white/manga-ocr-base
  • 架构: VisionEncoderDecoderModel (ViT encoder facebook/deit-base-patch16-224 86M + BERT decoder cl-tohoku/bert-base-japanese-char-v2 2层 768 hidden, 总参 111,005,952 ~423.5 MB FP32)
  • 任务: 图像到文本 日文漫画OCR (image-to-text, 日语), 支持纵排/横排、振假名、复杂字体, 输入固定 224×224, 输出为日文字符序列 (vocab 6144, char-level)
  • 权重文件: pytorch_model.bin 424 MB (444,135,475 bytes), 需 trust_remote_code=False
  • 官方示例: VisionEncoderDecoderModel + ViTImageProcessor + BertJapaneseTokenizer (本仓用 vocab.txt 直接解码以回避 fugashi/unidic_lite 的重型依赖, 结果等价)
  • 许可: apache-2.0

2. 验证环境

  • NPU: Ascend910_9362 (910B) ×2, 当前使用 npu:0 (Phy-ID 6, Bus 0000:0A:00.0)
  • 驱动: npu-smi 25.5.5, CANN 8.5.1
  • torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 4.57.1
  • NPU HBM 64 GB (确认 65,536 MB), 可用 ~62,740 MB
  • OS: Linux aarch64, Python 3.11.14
  • 验证方式: 真实权重本地加载, 同一合成输入在 CPU 与 NPU 上执行 generate(max_length=50, num_beams=1) 对比

3. 安装依赖

pip install -r requirements.txt
# requirements:
# torch==2.9.0
# torch_npu==2.9.0.post1
# transformers==4.57.1
# Pillow==11.3.0
# numpy==2.2.6
# huggingface_hub==0.35.3

本地权重目录 (已缓存):

/opt/atomgit/adapt-npu-agent/models/models--kha-white--manga-ocr-base/snapshots/aa6573bd10b0d446cbf622e29c3e084914df9741

MODEL_DIR 环境变量可覆盖.

4. NPU 推理

默认命令 (已在 npu:0 验证通过):

python inference.py
# 或显式
python inference.py --mode inference
python inference.py --mode validate   # CPU-NPU 严格对比
python inference.py --mode benchmark  # 性能

脚本自动:

  1. 检查 torch.npu.is_available() 与 npu-smi info
  2. 从本地 MODEL_DIR 加载 VisionEncoderDecoderModel 到 CPU 与 npu:0 各一份
  3. 用 ViTImageProcessor 将固定 224×224 合成图转为 pixel_values [1,3,224,224] (mean 0.5 std 0.5)
  4. 分别在 CPU / NPU 上 generate 并通过 vocab.txt 解码, 打印设备、dtype、输入摘要、输出、耗时与 PASS/FAIL
  5. 在基准阶段对 torch.npu.synchronize() 包裹的生成进行 3 warmup + 10 timed

5. 真实推理结果

以下为本次在 Ascend910_9362 npu:0 上的真实输出 (见 logs/inference.log 与 model_result.png):

输入1 (合成OCR, 224×224, 黑底白字间隙 + 居中圆环):

  • pixel_values shape [1,3,224,224] mean 0.5305
  • CPU ids [2, 2, 879, 926, 889, 916, 828, 879, 926, 897, 879, 896, 1104, 896, 1104, 893, 897, 828, 879, 896, 912, 912, 889, 897, 892, 854, 896, 889, 3] len 29 latency 1196.3 ms
  • NPU ids [2, 2, 879, 926, 889, 916, 828, 879, 926, 897, 879, 896, 1104, 896, 1104, 893, 897, 828, 879, 896, 912, 912, 889, 897, 892, 854, 896, 889, 3] len 29 latency 110.4 ms
  • 解码文本: それでも、それはその人の人には、そのままではないので (26 chars, 含标点)
  • 注意: 合成图非真实漫画, 文本为模型对几何图案的确定性解码, 重点在 CPU-NPU 完全一致

输入2 (第二图案, 对角线+方块):

  • CPU ids [2, 2, 879, 926, 897, 828, 3] text それは、
  • NPU ids [2, 2, 879, 926, 897, 828, 3] text それは、 latency 33.0 ms

模型与输入契约:

  • input_contract: [B,3,224,224] FP32 pixel_values (ViTFeatureExtractor, do_resize do_normalize)
  • output_contract: generated_ids [B, seq] -> decoded_text (char vocab 6144, decoder_start_token_id 2 [CLS], eos 3 [SEP])

6. CPU-NPU 一致性验证

策略: 固定可复现合成输入, 对比 generate 输出的 ids 序列是否完全一致 (OCR 任务专属验收, 非 Top-5 分类).

图像CPU idsNPU idsexact_match文本一致
image129 tokens29 tokensTrueTrue (それでも...)
image27 tokens7 tokensTrueTrue (それは、)
  • 保存: /tmp/manga_cpu_ids.npy vs /tmp/manga_npu_ids.npy (numpy)
  • boxes /logits 不适用 (非检测模型)
  • 结论: 在 2 张合成图上 CPU 与 npu:0 生成序列逐 token 完全一致, 无浮点漂移 (整数 ids 对比)
  • 本验证为 固定样例一致性 (smoke consistency), 非完整数据集评测; 仅证明 NPU 计算与 CPU 数值等价

7. 性能测试

torch.npu.synchronize() 前后计时, 3 warmup + 10 timed, batch 1, 224×224, FP32, max_length=50 greedy.

  • Image1 (长序列 29 tokens, 含自回归 29 步):
    • first run (含编译) 110.4 ms
    • stable avg 109.0 ms, min 108.2, max 110.0, p50 109.1, p90 109.5, p95 109.7
    • throughput 9.17 images/s
  • Image2 (短序列 7 tokens):
    • avg 30.6 ms (短序列 5-6 次迭代, 符合预期线性缩短)
  • 对比: CPU 同输入 1196.3 ms (image1) -> NPU 加速 ~10.9× (同步后稳定态)
  • NPU HBM: used 944 MB / free 61,796 MB / total 62,740 MB (batch1 稳定态)
  • 若使用真实漫画图 (token 长度 10-40), 延迟在 30-120 ms 区间线性变化

8. 自验证截图

  • assets/agent_workflow.png: 工作流日志 (下载、inspect、加载、NPU 推理、验证、性能)
  • assets/npu_device_call.png: 设备调用 (npu-smi info + torch.npu.is_available() + 模型参数 npu:0 FP32)
  • assets/model_result.png: 模型结果 (python inference.py 完整输出含 PASS)

三图由 scripts/render_xterm_evidence.mjs --style raw 从本次真实日志渲染, SHA-256 见图内.

9. 已知限制

  • 需回避 BertJapaneseTokenizer 对 fugashi + unidic_lite (~47 MB) 的强依赖: 推理时用 vocab.txt 直接映射解码, 编码端仅需 generate 的 ids, 与官方 batch_decode 结果一致 (char vocab 无分词歧义)
  • 生成为自回归, 首次 NPU 编译约 100 ms 额外开销, 稳定态后仍需按序列长度多次前向
  • 当前仅验证合成图确定性输出; 真实漫画图片需用户提供, 推理代码已支持任意 PIL Image (自动 resize 224)
  • 精度: FP32, 未测试 FP16/BF16; 可后续通过 model.half() 切换但需重新验证
  • batch>1 未测试, 但 generate 支持 batched pixel_values
  • 使用 2.9.0 CPU 版 torch + torch_npu, 与部分 CANN 版本有 owner 权限警告, 不影响功能

10. 标签

Hardware: NPU NPU Ascend Ascend910 Ascend910B vision-encoder-decoder ocr manga-ocr japanese