timm/eva02_large_patch14_clip_336.merged2b_ft_inat21 on Ascend NPU

1. 简介

本项目将 timm 模型 eva02_large_patch14_clip_336.merged2b_ft_inat21 适配到华为昇腾 NPU (Ascend910B)，实现单卡推理。该模型为 EVA02 Large 架构（基于 CLIP 预训练），在 iNaturalist 2021 数据集上微调，包含 10,000 个物种分类，输入分辨率 336x336。

2. 验证环境

• 硬件：华为昇腾 NPU (Ascend910B)
• 框架：PyTorch + torch_npu
• 模型参数量：~304M（Large 级别）
• 输入尺寸：1 x 3 x 336 x 336
• 输出维度：[1, 10000]（iNaturalist 2021 物种分类）

3. 推理运行

# 安装依赖
pip install -r requirements.txt

# 运行推理
python inference.py

Top-5 预测结果（单张测试图片）：

4. 精度验证

对单张测试图片进行 CPU 与 NPU 一致性验证：

• CPU Top-1: Abies alba
• NPU Top-1: Abies alba
• CPU Top-5: Abies alba, Pinus sylvestris, Sciurus vulgaris, Acer pseudoplatanus, Salix babylonica
• NPU Top-5: Abies alba, Pinus sylvestris, Sciurus vulgaris, Acer pseudoplatanus, Salix babylonica
• Top-1 match: True
• Top-5 match: True

5. 性能参考

6. 精度评测说明

本项目包含单图 smoke consistency 验证，非官方 ImageNet 完整验证集评测。CPU-NPU 精度一致性检查采用相对误差指标，阈值为 1.0%。详细指标见第 4 节。

7. 自验证截图

详见 screenshots/self_verification.png 和 screenshots/self_verification.txt。

8. 日志文件

• logs/inference.log — 推理结果
• logs/accuracy.log — 精度验证
• logs/benchmark.log — 性能基准

9. 注意事项

• 模型通过 ModelScope snapshot_download 下载权重，使用 timm.create_model(pretrained=False) 创建结构并加载本地权重
• 输入分辨率 336x336（非标准 224x224），需注意显存占用
• 分类标签来自 iNaturalist 2021 数据集（10,000 个物种），非 ImageNet 1,000 类
• 预处理参数由 timm.data.resolve_model_data_config 自动推导（CLIP 标准归一化）
• 未使用 HuggingFace 直连下载，未 fallback，未提交权重文件

10. 标签

#NPU