timm/convnext_base.clip_laion2b_augreg_ft_in12k on Ascend NPU

1. 简介

本项目将 timm/convnext_base.clip_laion2b_augreg_ft_in12k 图片分类模型适配到昇腾 NPU (Ascend910)。 模型基于 ConvNeXt 架构，在 CLIP 和 LAION-2B 上预训练，并在 ImageNet-12k 上微调， 支持 11821 个分类类别。适配过程使用 ModelScope 下载本地权重，通过 timm.create_model(pretrained=False) 加载，确保完全离线运行，无 HuggingFace 自动下载。

2. 验证环境

• NPU: Ascend910 (Ascend910_9362)
• CANN: 8.5.1
• PyTorch: 2.x
• torch_npu: 适配版本
• timm: 最新版
• 输入尺寸: 256 x 256

3. 推理运行

pip install -r requirements.txt
python inference.py

推理结果 (NPU Top-5):

• Top-1: class_7090 (0.7291)
• Top-2: class_9050 (0.0937)
• Top-3: class_3225 (0.0658)
• Top-4: class_7089 (0.0258)
• Top-5: class_5246 (0.0102)

日志保存在 logs/inference.log。

4. 精度验证

对单张测试图片进行 CPU 与 NPU 一致性验证：

• CPU Top-1: class_7090
• NPU Top-1: class_7090
• CPU Top-5: class_7090, class_9050, class_3225, class_7089, class_5246
• NPU Top-5: class_7090, class_9050, class_3225, class_7089, class_5246
• Top-1 match: True
• Top-5 match: True

5. 性能参考

日志保存在 logs/benchmark.log。

6. 精度评测说明

本项目包含单图 smoke consistency 验证，非官方 ImageNet 完整验证集评测。详细指标见第 4 节。

7. 自验证截图

见 screenshots/self_verification.png。

8. 日志文件

• logs/env_check.log — 环境检查
• logs/inference.log — 推理结果
• logs/accuracy.log — 精度一致性验证
• logs/benchmark.log — 性能基准测试

9. 注意事项

1. 模型权重通过 ModelScope snapshot_download 下载，严禁使用 timm.create_model(..., pretrained=True) 从 HuggingFace 自动下载。
2. 输入尺寸为 256 x 256，由 timm.data.resolve_model_data_config 自动解析。
3. NPU 推理前后调用 torch.npu.synchronize() 确保计时准确。
4. 权重文件不提交到 Git 仓库（已被 .gitignore 排除）。

10. 标签

#NPU #Ascend #Ascend910 #timm #convnext #image-classification