timm/vit_large_patch14_clip_224.openai_ft_in1k on Ascend NPU

1. 简介

本项目将 timm/vit_large_patch14_clip_224.openai_ft_in1k 图片分类模型适配到华为昇腾 NPU（Ascend910）上运行。

• 原始模型：timm/vit_large_patch14_clip_224.openai_ft_in1k
• 模型类型：图像分类（ImageNet-1k，1000 类）
• 适配方式：ModelScope snapshot_download 下载权重，timm.create_model(pretrained=False) 创建结构并加载本地权重
• 运行设备：单卡 Ascend NPU（npu:0）

2. 验证环境

• NPU: Ascend910B
• PyTorch + torch_npu
• modelscope, timm, safetensors

安装依赖：

pip install -r requirements.txt

3. 推理运行

python inference.py

推理结果示例（单张测试图片）：

4. 精度验证

对单张测试图片进行 CPU 与 NPU 一致性验证：

• CPU Top-1: class_979
• NPU Top-1: class_979
• CPU Top-5: class_979, class_975, class_976, class_649, class_825
• NPU Top-5: class_979, class_975, class_976, class_649, class_825
• Top-1 match: True
• Top-5 match: True

5. 性能参考

6. 精度评测说明

本项目包含单图 smoke consistency 验证，非官方 ImageNet 完整验证集评测。详细指标见第 4 节。

7. 自验证截图

见 screenshots/self_verification.png

8. 日志文件

• logs/inference.log — 推理结果
• logs/accuracy.log — CPU-NPU 精度一致性
• logs/benchmark.log — 性能基准测试

9. 竞赛提交信息

10. 注意事项

• 权重通过 ModelScope 下载，运行时自动缓存到本地
• 推理脚本使用 pretrained=False 并通过 load_state_dict 加载本地权重
• 不使用 HuggingFace 直连下载
• 不提交权重文件（*.bin / *.safetensors / *.pth / *.pt / *.ckpt / *.onnx 已加入 .gitignore）

11. 标签

#NPU #Ascend #Ascend910 #ImageClassification #timm