Apple AIMv2 Large Patch14 336 Distilled — 昇腾 NPU 适配

1. 简介

本文档记录 apple/aimv2-large-patch14-336-distilled 在 Ascend 910B4 NPU 上的推理适配与验证结果。

AIMv2 336-distilled 为蒸馏版 ViT 模型，输入尺寸 336×336，参数量约 1.15B。

论文: Multimodal Autoregressive Pre-training of Large Vision Encoders
原始权重: ModelScope / HuggingFace

2. 环境

组件	版本
PyTorch	2.9.0+cpu
torch_npu	2.9.0.post1
Transformers	4.57.6
CANN	8.5.1
NPU	Ascend 910B4

3. 适配要点

权重 Key 转换: 原始 safetensors 使用 Timm 风格命名，通过 convert_weights.py 自动映射
零算子修改: 所有算子原生支持 NPU
直接加载: 使用本地建模文件直接加载

4. 使用方式

# 安装依赖
pip install torch torch_npu transformers safetensors pillow

# 运行推理（随机输入）
python inference.py

# 运行推理（真实图片）
python inference.py --image path/to/image.jpg

# FP16 推理
python inference.py --dtype float16

5. 精度评测

CPU 与 NPU 同输入逐元素对比（FP32）：

seed	max_diff	mean_diff	cos_sim	结果
42	4.42e-03	5.83e-05	1.000057	✅ PASS
123	3.35e-03	6.00e-05	1.000049	✅ PASS
256	4.72e-03	5.90e-05	1.000052	✅ PASS
789	4.20e-03	5.83e-05	1.000055	✅ PASS
1024	4.37e-03	6.22e-05	1.000058	✅ PASS

结论: CPU 与 NPU 输出余弦相似度 ≈ 1.0，精度符合要求（误差 < 1%）。

6. 性能基准

batch_size	avg (ms)	p50 (ms)	p99 (ms)
1	21.9	21.9	22.1
4	40.3	40.2	40.4

测试条件: Ascend 910B4, FP32, 随机输入 336×336, 20 次取平均。

7. 文件说明

├── inference.py                  # 推理入口
├── convert_weights.py            # 权重 key 转换
├── modeling_aimv2_distilled.py   # 模型定义
├── configuration_aimv2_distilled.py  # 模型配置
└── README.md                     # 本文档

8. 引用

@misc{fini2024multimodalautoregressivepretraininglarge,
  author={Fini, Enrico and Shukor, Mustafa and Li, Xiujun and others},
  title={Multimodal Autoregressive Pre-training of Large Vision Encoders},
  year={2024},
  eprint={2411.14402},
  archivePrefix={arXiv},
}

1. 简介

本文档记录 apple/aimv2-large-patch14-336-distilled 在 Ascend 910B4 NPU 上的推理适配与验证结果。

AIMv2 336-distilled 为蒸馏版 ViT 模型，输入尺寸 336×336，参数量约 1.15B。

组件

版本

PyTorch

2.9.0+cpu

torch_npu

2.9.0.post1

Transformers

4.57.6

CANN

8.5.1

NPU

Ascend 910B4

# 安装依赖 pip install torch torch_npu transformers safetensors pillow # 运行推理（随机输入） python inference.py # 运行推理（真实图片） python inference.py --image path/to/image.jpg # FP16 推理 python inference.py --dtype float16

5. 精度评测

CPU 与 NPU 同输入逐元素对比（FP32）：

seed	max_diff	mean_diff	cos_sim	结果
42	4.42e-03	5.83e-05	1.000057	✅ PASS
123	3.35e-03	6.00e-05	1.000049	✅ PASS
256	4.72e-03	5.90e-05	1.000052	✅ PASS
789	4.20e-03	5.83e-05	1.000055	✅ PASS
1024	4.37e-03	6.22e-05	1.000058	✅ PASS

结论: CPU 与 NPU 输出余弦相似度 ≈ 1.0，精度符合要求（误差 < 1%）。

batch_size

avg (ms)

p50 (ms)

p99 (ms)

21.9

22.1

40.3

40.2

40.4

├── inference.py # 推理入口 ├── convert_weights.py # 权重 key 转换 ├── modeling_aimv2_distilled.py # 模型定义 ├── configuration_aimv2_distilled.py # 模型配置 └── README.md # 本文档

@misc{fini2024multimodalautoregressivepretraininglarge, author={Fini, Enrico and Shukor, Mustafa and Li, Xiujun and others}, title={Multimodal Autoregressive Pre-training of Large Vision Encoders}, year={2024}, eprint={2411.14402}, archivePrefix={arXiv}, }