timm/xcit_nano_12_p16_224.fb_in1k on Ascend NPU

1. 简介

本项目将 timm/xcit_nano_12_p16_224.fb_in1k 模型适配到华为昇腾 NPU (Ascend910) 上运行。XCiT (Cross-Covariance Image Transformer) 是一种基于 cross-covariance attention 的视觉 Transformer 模型，本适配使用 nano 12 层配置，patch size 16，输入分辨率 224x224，预训练于 ImageNet-1K。

2. 验证环境

• 设备: Ascend910 NPU
• 框架: PyTorch + torch_npu
• 模型加载: timm.create_model(pretrained=False) + ModelScope snapshot_download 下载本地权重
• 权重格式: safetensors (12.26 MB)
• 输入: 224x224 RGB 图像
• 输出: ImageNet-1K 1000 类 logits

3. 推理运行

# 安装依赖
pip install -r requirements.txt

# 推理
python inference.py

推理结果 (单张测试图):

• Top-1: class_974 (67.68%)
• Top-5: class_974, class_980, class_979, class_972, class_970

4. 精度验证

对单张测试图片进行 CPU 与 NPU 一致性验证：

• CPU Top-1: class_974
• NPU Top-1: class_974
• CPU Top-5: class_974, class_980, class_979, class_972, class_970
• NPU Top-5: class_974, class_980, class_979, class_972, class_970
• Top-1 match: True
• Top-5 match: True

# 运行精度验证
python eval_accuracy.py

5. 性能参考

在 Ascend910 NPU 上的性能测试结果（10 次推理，含预热 2 次）：

# 运行性能测试
python benchmark.py

6. 精度评测说明

本项目包含单图 smoke consistency 验证，非官方 ImageNet 完整验证集评测。详细指标见第 4 节。

7. 自验证截图

8. 日志文件

• logs/inference.log — 推理结果日志
• logs/accuracy.log — CPU-NPU 精度一致性检查日志
• logs/benchmark.log — 性能基准测试日志
• logs/paths.txt — 模型路径记录

9. 注意事项

• 本适配使用 pretrained=False，通过 ModelScope snapshot_download 下载权重，使用 timm.create_model 加载本地权重
• 不使用 HuggingFace 直连下载
• 不提交权重文件（*.safetensors, *.bin 等）
• 精度验证为单图 smoke test，非完整 ImageNet 评测

10. 标签

#NPU #Ascend #Ascend910 #XCiT #ImageClassification #timm