timm/vit_base_patch16_224_miil.in21k on Ascend NPU

1. 简介

本项目将 timm/vit_base_patch16_224_miil.in21k 图片分类模型适配到华为昇腾 NPU (Ascend910)。ViT-Base-Patch16-224 是基于 Vision Transformer 架构的图像分类模型，使用 MIIL（Multi-Instance Image-Level）标注在 ImageNet-21K（11221 类）上进行预训练。

2. 验证环境

• 硬件：Ascend910 NPU
• OS：Linux 5.10.0-182.0.0.95 (aarch64)
• Python：3.11
• PyTorch：torch_npu (Ascend)
• 框架：timm + ModelScope

3. 推理运行

python inference.py

推理结果（单张测试图片）：

• Top-1 class: class_8235
• Top-1 prob: 0.138532
• Top-5: class_8235, class_8360, class_8357, class_8341, class_8338

4. 精度验证

对单张测试图片进行 CPU 与 NPU 一致性验证：

• CPU Top-1: class_8235
• NPU Top-1: class_8235
• CPU Top-5: class_8235, class_8360, class_8357, class_8341, class_8338
• NPU Top-5: class_8235, class_8360, class_8357, class_8341, class_8338
• Top-1 match: True
• Top-5 match: True

5. 性能参考

6. 精度评测说明

本项目包含单图 smoke consistency 验证，非官方 ImageNet 完整验证集评测。详细指标见第 4 节。

7. 自验证截图

详见 screenshots/self_verification.png。

8. 日志文件

• logs/inference.log — 推理输出日志
• logs/accuracy.log — 精度一致性验证日志
• logs/benchmark.log — 性能基准测试日志
• logs/env_check.log — 环境检查日志

9. 注意事项

• 模型权重通过 ModelScope snapshot_download 下载，不使用 HuggingFace 直连
• 使用 timm.create_model(pretrained=False) + 本地权重加载，不使用 pretrained=True
• 不提交权重文件（*.safetensors, *.bin, *.pth 等）
• 该模型在 ImageNet-21K（11221 类）上预训练，输出维度为 [batch, 11221]

10. 标签

#NPU