kha-white/manga-ocr-basefacebook/deit-base-patch16-224 86M + BERT decoder cl-tohoku/bert-base-japanese-char-v2 2层 768 hidden, 总参 111,005,952 ~423.5 MB FP32)pytorch_model.bin 424 MB (444,135,475 bytes), 需 trust_remote_code=FalseVisionEncoderDecoderModel + ViTImageProcessor + BertJapaneseTokenizer (本仓用 vocab.txt 直接解码以回避 fugashi/unidic_lite 的重型依赖, 结果等价)npu:0 (Phy-ID 6, Bus 0000:0A:00.0)generate(max_length=50, num_beams=1) 对比pip install -r requirements.txt
# requirements:
# torch==2.9.0
# torch_npu==2.9.0.post1
# transformers==4.57.1
# Pillow==11.3.0
# numpy==2.2.6
# huggingface_hub==0.35.3本地权重目录 (已缓存):
/opt/atomgit/adapt-npu-agent/models/models--kha-white--manga-ocr-base/snapshots/aa6573bd10b0d446cbf622e29c3e084914df9741MODEL_DIR 环境变量可覆盖.
默认命令 (已在 npu:0 验证通过):
python inference.py
# 或显式
python inference.py --mode inference
python inference.py --mode validate # CPU-NPU 严格对比
python inference.py --mode benchmark # 性能脚本自动:
torch.npu.is_available() 与 npu-smi infoMODEL_DIR 加载 VisionEncoderDecoderModel 到 CPU 与 npu:0 各一份ViTImageProcessor 将固定 224×224 合成图转为 pixel_values [1,3,224,224] (mean 0.5 std 0.5)generate 并通过 vocab.txt 解码, 打印设备、dtype、输入摘要、输出、耗时与 PASS/FAILtorch.npu.synchronize() 包裹的生成进行 3 warmup + 10 timed以下为本次在 Ascend910_9362 npu:0 上的真实输出 (见 logs/inference.log 与 model_result.png):
输入1 (合成OCR, 224×224, 黑底白字间隙 + 居中圆环):
pixel_values shape [1,3,224,224] mean 0.5305[2, 2, 879, 926, 889, 916, 828, 879, 926, 897, 879, 896, 1104, 896, 1104, 893, 897, 828, 879, 896, 912, 912, 889, 897, 892, 854, 896, 889, 3] len 29 latency 1196.3 ms[2, 2, 879, 926, 889, 916, 828, 879, 926, 897, 879, 896, 1104, 896, 1104, 893, 897, 828, 879, 896, 912, 912, 889, 897, 892, 854, 896, 889, 3] len 29 latency 110.4 msそれでも、それはその人の人には、そのままではないので (26 chars, 含标点)输入2 (第二图案, 对角线+方块):
[2, 2, 879, 926, 897, 828, 3] text それは、[2, 2, 879, 926, 897, 828, 3] text それは、 latency 33.0 ms模型与输入契约:
[B,3,224,224] FP32 pixel_values (ViTFeatureExtractor, do_resize do_normalize)generated_ids [B, seq] -> decoded_text (char vocab 6144, decoder_start_token_id 2 [CLS], eos 3 [SEP])策略: 固定可复现合成输入, 对比 generate 输出的 ids 序列是否完全一致 (OCR 任务专属验收, 非 Top-5 分类).
| 图像 | CPU ids | NPU ids | exact_match | 文本一致 |
|---|---|---|---|---|
| image1 | 29 tokens | 29 tokens | True | True (それでも...) |
| image2 | 7 tokens | 7 tokens | True | True (それは、) |
/tmp/manga_cpu_ids.npy vs /tmp/manga_npu_ids.npy (numpy)boxes /logits 不适用 (非检测模型)npu:0 生成序列逐 token 完全一致, 无浮点漂移 (整数 ids 对比)torch.npu.synchronize() 前后计时, 3 warmup + 10 timed, batch 1, 224×224, FP32, max_length=50 greedy.
assets/agent_workflow.png: 工作流日志 (下载、inspect、加载、NPU 推理、验证、性能)assets/npu_device_call.png: 设备调用 (npu-smi info + torch.npu.is_available() + 模型参数 npu:0 FP32)assets/model_result.png: 模型结果 (python inference.py 完整输出含 PASS)三图由 scripts/render_xterm_evidence.mjs --style raw 从本次真实日志渲染, SHA-256 见图内.
BertJapaneseTokenizer 对 fugashi + unidic_lite (~47 MB) 的强依赖: 推理时用 vocab.txt 直接映射解码, 编码端仅需 generate 的 ids, 与官方 batch_decode 结果一致 (char vocab 无分词歧义)model.half() 切换但需重新验证generate 支持 batched pixel_valuesHardware: NPU NPU Ascend Ascend910 Ascend910B vision-encoder-decoder ocr manga-ocr japanese