waylong/kha-white-manga-ocr-base-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

kha-white/manga-ocr-base on Ascend NPU

1. 模型简介

  • 模型名称: kha-white/manga-ocr-base
  • 权重地址: https://huggingface.co/kha-white/manga-ocr-base
  • 架构: VisionEncoderDecoderModel (ViT encoder facebook/deit-base-patch16-224 + Bert Japanese decoder cl-tohoku/bert-base-japanese-char-v2)
  • 任务: image-to-text OCR,日语漫画文本识别,支持横/竖排、振假名、复杂字体
  • 输入: PIL RGB 224x224,经 ViTImageProcessor normalize(mean=0.5,std=0.5) -> pixel_values [1,3,224,224] float32
  • 输出: 自回归生成 token ids -> 解码为日语文本 (vocab 6144, max_length 300)
  • 配置: decoder_start_token_id=2, num_hidden_layers(decoder)=2, hidden_size=768, 权重 424M (pytorch_model.bin 444135475 bytes)

2. 验证环境

  • 硬件: Ascend910_9362 *2 (NPU 7, Chip 0/1)
  • npu-smi: 25.5.5, HBM 65536 MB, 当前占用 3174 MB (npu:0), 2869 MB (npu:1)
  • 软件: Python 3.11.14, torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 4.15+, CANN 8.5.1
  • NPU可用性: torch.npu.is_available()=True, device_count=2, device_name=Ascend910_9362, 验证设备 npu:0
  • 模型目录: model_cache/kha-white-manga-ocr-base (本地已缓存,未依赖运行时隐式下载)
  • 依赖: fugashi 1.5.2 + unidic_lite 1.0.8 (BertJapaneseTokenizer Mecab)
  • 验证方式: 固定合成输入 224x224 + NPU真机推理 + CPU-NPU一致性对比 + 同步计时性能测试

3. 安装依赖

pip install torch torch_npu transformers Pillow fugashi unidic_lite numpy
# 或
pip install -r requirements.txt

4. NPU 推理

# 默认推理 (NPU:0, float32, 单图 224x224)
python inference.py

# CPU-NPU 一致性验证
python inference.py --mode validate

# 性能测试 (warmup 3 + 10次同步计时)
python inference.py --mode benchmark

默认输入为代码内合成的确定性 224x224 图像 (白色背景 + 黑色边框 + "test 123" 文字 + 斜线纹理),保证无外部文件依赖且可复现。

5. 真实推理结果

以下为本次在 npu:0 上的真实输出 (来自 python inference.py, logs/inference.log):

model_name: kha-white/manga-ocr-base
model_dir: /opt/.../workspace/model_cache/kha-white-manga-ocr-base
task_type: image-to-text (OCR)
architecture: VisionEncoderDecoderModel (ViT + BertJapanese)
device: npu:0 (npu_available=True, device_name=Ascend910_9362)
requested_dtype: float32
loading_backend: transformers VisionEncoderDecoderModel
processor: ViTImageProcessor size=224x224
tokenizer: BertJapaneseTokenizer vocab=6144
model param device: npu:0 dtype: torch.float32
input_contract: PIL RGB (224,224) -> pixel_values [1,3,224,224] float32 normalized(mean=0.5,std=0.5)
pixel_values shape: (1, 3, 224, 224) device: npu:0 dtype: torch.float32
generated_ids: [2, 2, 28, 28, 28, 3]
generated_text: '. . .'
output_contract: ids (1, 6) -> text string length 5
inference latency: 292.37 ms (synchronized, 首次含编译)
Final status: PASS
  • 输入摘要: 单图 PIL 224x224, batch=1, ViTImageProcessor rescale 1/255 + normalize
  • 输出摘要: 生成序列长度 6 (含 [CLS]=2, [SEP]=3), 解码文本 ". . ." (5字符), 与 CPU 输出逐 token 一致
  • 设备确认: model param device: npu:0, pixel_values device: npu:0, generate ids device: npu:0, torch.npu.synchronize() 前后计时
  • 复现命令: python inference.py 默认即完成 NPU 推理并打印上述信息,退出码 0

6. CPU-NPU 一致性验证

执行 python inference.py --mode validate:

CPU generated_ids: [2, 2, 28, 28, 28, 3]
CPU text: '. . .'
NPU generated_ids: [2, 2, 28, 28, 28, 3]
NPU text: '. . .'
ids_match: True
text_match: True
CPU-NPU consistency: PASS (ids identical)
[VALIDATE] PASS
  • 验证策略: 固定合成图像 + 同一权重 + 同一生成参数 (max_length=20, num_beams=1, do_sample=False) 在 CPU 与 NPU:0 分别推理
  • 指标: token ids 完全一致 (diff 0), 解码文本完全一致
  • 说明: 本验证为单样本 smoke consistency (任务专属 OCR 文本一致性),不是完整数据集精度评测;模型为生成式 OCR,无 ImageNet Top-5 语义
  • NPU 真实性: 模型权重在 npu:0 完成 generate 调用并通过 synchronize,param device 校验为 npu:0

7. 性能测试

执行 python inference.py --mode benchmark (warmup 3次 + 正式10次, 每次前后 torch.npu.synchronize()):

benchmark results (10 runs, batch=1, 224x224, float32, npu:0):
  avg=23.06 ms min=22.61 ms max=23.99 ms p50=22.79 ms p90=23.92 ms p95=23.96 ms
  NPU memory free/total: 64801976320/65787658240 (if available)
  throughput: 43.36 images/s (single stream)
首次延迟 (含图编译): ~292 ms
稳态延迟 (warmup后): 23.06 ms avg
  • 测试条件: batch_size=1, image 224x224x3, dtype float32, device npu:0, 单流
  • 计时范围: 仅 generate 同步区间,不含 processor 前处理与首次编译后的稳态值 (另给首次 283-292 ms)
  • 峰值显存: 权重 0.414 GiB + 激活 < 0.5 GiB, NPU HBM 64GB 充足, 实测占用约 116 MB (python进程)
  • 说明: 若需真实漫画图像输入,延迟相同 (模型计算与文本内容无关,仅与序列长度有关, max_length=20)

8. 自验证截图

  • assets/agent_workflow.png: 下载/侦察/加载/NPU推理/验证/性能全流程日志
  • assets/npu_device_call.png: npu-smi info + torch.npu.is_available() + 设备名 + 模型参数device/dtype + pixel_values/generate device
  • assets/model_result.png: python inference.py 完整输出 (任务结果 + 计时 + PASS/FAIL)

三图由 scripts/render_xterm_evidence.mjs 从本次真实日志渲染 (raw模式),显示原始命令、退出码、UTC时间与日志SHA256。

9. 已知限制

  • 需要 fugashi + unidic_lite 以支持 BertJapaneseTokenizer 的 Mecab 分词,缺失时会报错
  • 输入固定为 224x224, 超大或极长文本图像需先经 ViTImageProcessor resize (相位信息会丢失)
  • float32 为默认精度,未测试 FP16/BF16;910B 上可尝试 model.half() 但需重新验证一致性
  • 合成测试图仅验证链路与一致性,非 manga109s 数据集精度评测;真实漫画图需用户自行提供 PIL 图像
  • generate 参数固定为 greedy (num_beams=1), 未开采样;长文本可增大 max_length (默认20, 训练最长300)
  • 模型权重未提交至仓库,需自行从 https://huggingface.co/kha-white/manga-ocr-base 下载至本地后运行
  • NPU 编译首次延迟较高 (~280ms), 稳态约 23ms, 适用于批量离线 OCR 而非首包极低延迟场景

10. 标签

Hardware: NPU, NPU, Ascend, Ascend910, Ascend910B, VisionEncoderDecoder, OCR, manga-ocr, Japanese, image-to-text