Pix2Struct — Ascend NPU 推理全面摸高：CANN + 亲和算子 + 算子替换 全栈优化

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
  🏆 Pix2Struct on Ascend 910B — Before vs After

  Model                        Before (ms)  After (ms)   Speedup   Precision
  ──────────────────────────────────────────────────────────────────────────
  chartqa-base (282M)  CPU      4455.8       62.2        72×       100% ✅
  chartqa-base (282M)  NPU      84.5         62.2        1.36×     100% ✅
  pix2struct-large (1.3B) NPU  84.4         68.0        1.24×     100% ✅
  ──────────────────────────────────────────────────────────────────────────
  🔧 After = CANN env vars (TASK_QUEUE_ENABLE=2 + CPU_AFFINITY_CONF=2 +
           PYTORCH_NPU_ALLOC_CONF=expandable_segments:True) +
           亲和算子 RMSNorm→npu_rms_norm + NewGELU→npu_gelu
  🚀 CPU→NPU: 53× 硬件加速 + 1.36× 软件优化 = 72× 总加速
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

# chartqa-base: CPU 基线（约4.5秒/张）
python3 inference.py --device cpu --mode benchmark --runs 3 --max-tokens 20

# chartqa-base: NPU 基线（约84ms）
python3 inference.py --device npu:0 --mode benchmark --runs 20 --max-tokens 20

# chartqa-base: 全栈优化（约62ms）
TASK_QUEUE_ENABLE=2 CPU_AFFINITY_CONF=2 \
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True \
python3 inference.py --device npu:0 --mode benchmark --runs 20 --max-tokens 20

# 完整对比矩阵
python3 comprehensive_bench.py

pip install torch torch_npu transformers pillow sentencepiece

# chartqa-base (~282M，主要测试模型)
# HuggingFace + GitCode 镜像
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download google/pix2struct-chartqa-base \
  --local-dir ./model_files/checkpoints/google/pix2struct-chartqa-base

# pix2struct-large (~1.3B)
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download google/pix2struct-large \
  --local-dir ./model_files/checkpoints/pix2struct-large

# NPU 推理（单图）
python3 inference.py --device npu:0 --mode infer

# 完整基准测试
python3 inference.py --device npu:0 --mode benchmark --runs 20 --max-tokens 20

# CPU 基准对比
python3 inference.py --device cpu --mode benchmark --runs 5 --max-tokens 20

# 精度对齐验证
python3 inference.py --device npu:0 --mode accuracy

# QKV 融合基准（✅ 推荐）
python3 inference.py --device npu:0 --mode benchmark --qkv-fusion

# SOTA 配置：QKV 融合 + max_patches=384
python3 inference.py --device npu:0 --mode benchmark --qkv-fusion --max-patches 384

# 完整 7 轮优化流水线
python3 inference.py --mode pipeline

==========================================================================================
  🏆 PIX2STRUCT ASCEND NPU — SOTA BENCHMARK (全面优化)

  Model                         Config                     p50(ms)     Throughput
  ──────────────────────────────────────────────────────────────────────────────
  chartqa-base (282M)          CPU 基线                   4455.8      0.22 img/s
  chartqa-base (282M)          NPU 基线 (无优化)           84.5       12.91 img/s
  chartqa-base (282M)          +亲和算子 + CANN env        62.2       16.85 img/s  (1.36x)
  chartqa-base (282M)          +torch.compile(npugraphs)   62.4       16.81 img/s  (1.35x)
  chartqa-base (282M)          双卡 NPU                   65.6       16.26 img/s  (1.29x)
  ──────────────────────────────────────────────────────────────────────────────
  pix2struct-large (1.3B)      NPU 基线 (无优化)           84.4       10.96 img/s
  pix2struct-large (1.3B)      +亲和算子 + CANN env        68.0       12.88 img/s  (1.24x)
  ──────────────────────────────────────────────────────────────────────────────
  🏆 BEST: CANN env vars (TASK_QUEUE_ENABLE=2 + CPU_AFFINITY_CONF=2 + PYTORCH_NPU_ALLOC_CONF=expandable_segments:True)
         → chartqa-base: 62.2ms p50, 16.85 img/s (1.36x vs baseline)
         → large: 68.0ms p50, 12.88 img/s (1.24x vs baseline)
  🏆 CPU→NPU 提升: 53x (从 4.5s 到 84.5ms)

pix2struct/
├── inference.py                      # 统一推理脚本（NPU/CPU）— v2.0
├── SKILL.md                          # 昇腾优化技能文档（可复用模板）
├── comprehensive_bench.py            # 全面对比基准（CPU/NPU/双卡 × 优化前/后）
├── affinity_optimize.py              # 亲和算子优化（RMSNorm→npu_rms_norm等）
├── final_peak.py                     # 最终最优配置基准
├── cann_compile_bench.py             # CANN + torch.compile 基准
├── sota_eval.py                      # SOTA 真实数据集评测（独立脚本）
├── save_matrix.py                    # 保存综合对比矩阵
├── real_datasets/                    # 真实数据集样本
│   ├── chart_real.png
│   ├── receipt_real.png
│   ├── invoice_real.png
│   ├── email_real.png
│   └── dashboard_real.png
├── model_files/
│   └── checkpoints/
│       ├── google/pix2struct-chartqa-base/  # chartqa-base 权重 (~1.1GB)
│       ├── pix2struct-large/                # large 权重 (~11GB)
│       ├── pix2struct-base/                 # 原始 base 权重 (~1.1GB)
│       └── ms_cache/                        # ModelScope 缓存（可选）
├── test_images/                      # 自动生成测试图片
├── results/                          # 基准测试结果（JSON）
│   ├── comprehensive_matrix.json     # 全面对比矩阵 (chartqa-base × 6 configs)
│   ├── large_npu_baseline.json       # pix2struct-large NPU 基线
│   ├── large_npu_optimized.json      # pix2struct-large 全栈优化
│   ├── final_peak_results.json       # 最终最优配置结果
│   ├── cann_compile_results.json     # CANN + compile 对比
│   ├── max_opt_results.json          # 最大优化结果
│   ├── env_var_sweep_results.json    # 环境变量扫描结果
│   ├── benchmark_cpu.json            # CPU 基线
│   ├── benchmark_npu_0.json          # NPU 基线
│   ├── benchmark_npu_fp32.json       # NPU FP32 基线
│   └── can_compile_results.json      # compile 测试结果
└── README.md                         # 本文件

@article{lee2023pix2struct,
  title={Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding},
  author={Lee, Kenton and Joshi, Mandar and Turc, Iulia and Hu, Hexiang and
          Liu, Fangyu and Eisenschlos, Julian and Khandelwal, Urvashi and
          Shaw, Peter and Chang, Ming-Wei and Toutanova, Kristina},
  journal={ICML},
  year={2023}
}