v
v50_/timm-vit_large_patch14_clip_224.laion2b_ft_in12k-NPU
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

timm/vit_large_patch14_clip_224.laion2b_ft_in12k on Ascend NPU

1. 简介

本项目将 timm/vit_large_patch14_clip_224.laion2b_ft_in12k 图片分类模型适配到华为昇腾 NPU（Ascend910）上运行。

  • 原始模型：timm/vit_large_patch14_clip_224.laion2b_ft_in12k
  • 模型类型：图像分类（ImageNet-21k，21843 类）
  • 适配方式：ModelScope snapshot_download 下载权重，timm.create_model(pretrained=False) 创建结构并加载本地权重
  • 运行设备：单卡 Ascend NPU（npu:5）

2. 验证环境

  • NPU: Ascend910B
  • PyTorch + torch_npu
  • modelscope, timm, safetensors

安装依赖：

pip install -r requirements.txt

3. 推理运行

python inference.py

推理结果示例（单张测试图片）：

RankClassProbability
1class_115170.0985
2class_79240.0315
3class_115810.0181
4class_115800.0142
5class_115850.0134

4. 精度验证

对单张测试图片进行 CPU 与 NPU 一致性验证：

指标数值
max_abs_error0.040558
mean_abs_error0.006340
relative_error0.5254%
cosine_similarity0.999986
threshold1.0%
结果PASS
  • CPU Top-1: class_11517
  • NPU Top-1: class_11517
  • CPU Top-5: class_11517, class_7924, class_11581, class_11580, class_11585
  • NPU Top-5: class_11517, class_7924, class_11581, class_11580, class_11585
  • Top-1 match: True
  • Top-5 match: True

5. 性能参考

指标数值
Warmup2
Runs10
avg latency24.455 ms
min latency22.322 ms
max latency32.558 ms
p50 latency23.562 ms
p90 latency32.558 ms
p95 latency32.558 ms
Throughput40.89 images/sec

6. 精度评测说明

本项目包含单图 smoke consistency 验证，非官方 ImageNet 完整验证集评测。详细指标见第 4 节。

7. 自验证截图

见 screenshots/self_verification.png

8. 日志文件

  • logs/inference.log — 推理结果
  • logs/accuracy.log — CPU-NPU 精度一致性
  • logs/benchmark.log — 性能基准测试

9. 竞赛提交信息

项目链接
原始权重模型地址https://modelscope.cn/models/timm/vit_large_patch14_clip_224.laion2b_ft_in12k
提交项目地址https://ai.gitcode.com/v50_/timm-vit_large_patch14_clip_224.laion2b_ft_in12k-NPU

10. 注意事项

  • 权重通过 ModelScope 下载，运行时自动缓存到本地
  • 推理脚本使用 pretrained=False 并通过 load_state_dict 加载本地权重
  • 不使用 HuggingFace 直连下载
  • 不提交权重文件（*.bin / *.safetensors / *.pth / *.pt / *.ckpt / *.onnx 已加入 .gitignore）

11. 标签

#NPU #Ascend #Ascend910 #ImageClassification #timm