gcw_C8PI9e90/convformer-s36-sail-in22k-ft-in1k-384-npu

convformer-s36-sail-in22k-ft-in1k-384-npu:可用于在昇腾 NPU 上实现高性能图像分类推理，提供 CPU 与 NPU 推理方法，支持精度对比，NPU 推理加速比达 48.18× 且精度与 CPU 高度一致。【此简介由AI生成】 - AtomGit AI社区

convformer_s36.sail_in22k_ft_in1k_384 昇腾 NPU 适配

1. 模型介绍

模型名称: convformer_s36.sail_in22k_ft_in1k_384
模型架构: ConvFormer
原始模型: timm/convformer_s36.sail_in22k_ft_in1k_384
ModelScope 地址: timm/convformer_s36.sail_in22k_ft_in1k_384
任务类型: 图像分类（Image Classification）
模型框架: PyTorch + timm
参数量: ~39M
输入格式: 图像 (3, 384, 384)
输出格式: 分类 logits
数据集: ImageNet-22K (预训练) + ImageNet-1K (微调)

2. 环境准备

硬件环境

组件	规格
NPU	昇腾 910 (64GB HBM)
CPU	ARM 64核
内存	系统内存

软件环境

组件	版本
操作系统	Linux (aarch64)
Python	3.11.14
PyTorch	2.9.0
torch-npu	2.9.0.post1
timm	1.0.27
CANN	8.5.1

安装依赖

pip install timm torchvision Pillow requests safetensors modelscope

下载模型

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download("timm/convformer_s36.sail_in22k_ft_in1k_384")
print(f"Model downloaded to: {model_dir}")

3. 推理方法

CPU 推理

import torch
import timm
from PIL import Image
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform

model = timm.create_model("convformer_s36.sail_in22k_ft_in1k_384", pretrained=True)
model.eval()
img = Image.open("test.jpg").convert("RGB")
config = resolve_data_config({}, model=model)
transform = create_transform(**config)
input_tensor = transform(img).unsqueeze(0)

with torch.no_grad():
    output = model(input_tensor)
    probs = torch.nn.functional.softmax(output[0], dim=0)
    top5 = probs.topk(5)
    for i in range(5):
        print(f"{i+1}. class={top5.indices[i].item():5d} prob={top5.values[i].item():.6f}")

NPU 推理

import torch
import timm
from PIL import Image
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform

model = timm.create_model("convformer_s36.sail_in22k_ft_in1k_384", pretrained=True)
model = model.npu()
model.eval()
img = Image.open("test.jpg").convert("RGB")
config = resolve_data_config({}, model=model)
transform = create_transform(**config)
input_tensor = transform(img).unsqueeze(0).npu()

with torch.no_grad():
    output = model(input_tensor)
    probs = torch.nn.functional.softmax(output[0], dim=0)
    top5 = probs.topk(5)
    for i in range(5):
        print(f"{i+1}. class={top5.indices[i].item():5d} prob={top5.values[i].item():.6f}")

使用推理脚本

# CPU 推理
python inference.py --device cpu

# NPU 推理
python inference.py --device npu

# CPU/NPU 精度对比
python compare_cpu_npu.py

4. 推理结果

使用测试图像进行推理，输入尺寸为 384×384。

推理耗时对比

指标	CPU	NPU (Ascend 910)
推理耗时	1.1805s	0.0245s
加速比	1×	48.18×

Top-5 输出对比

排名	CPU 类别	CPU 概率	NPU 类别	NPU 概率
1	549	0.271832	549	0.271722
2	916	0.227679	916	0.227786
3	409	0.025236	409	0.025235
4	782	0.022979	782	0.022969
5	851	0.016465	851	0.016458

推理日志

$ python inference.py --device cpu
Loading model: convformer_s36.sail_in22k_ft_in1k_384
Model loaded on CPU
Input shape: (1, 3, 384, 384)
Running inference...
CPU inference time: 1.1805s
Top-1: class=549 prob=0.271832
Top-2: class=916 prob=0.227679

$ python inference.py --device npu
Loading model: convformer_s36.sail_in22k_ft_in1k_384
Model moved to NPU (Ascend 910)
Input shape: (1, 3, 384, 384)
Running inference...
NPU inference time: 0.0245s
Top-1: class=549 prob=0.271722
Top-2: class=916 prob=0.227786

5. CPU/NPU 精度测试

测试方法

分别在 CPU 和 NPU 上加载同一模型权重（通过 timm pretrained=True 加载）
使用同一张测试图像，经过相同的预处理流程（resolve_data_config + create_transform）
对比输出 logits 的差异

精度指标

指标	含义	目标值
MAE	平均绝对误差（Mean Absolute Error）	越小越好
MSE	均方误差（Mean Squared Error）	越小越好
Max Error	最大绝对误差（Max Absolute Error）	越小越好
Cosine Similarity	余弦相似度	越接近 1 越好
Mean Relative Error	平均相对误差	< 1%

精度测试结果

指标	数值
MAE	0.0003169314
MSE	1.602e-07
Max Absolute Error	0.0016028881
Cosine Similarity	1.0
Mean Relative Error	0.160065%
Top-5 一致数	5/5
Top-1 一致	是

结论

NPU 与 CPU 推理结果误差 < 1%，精度完全满足要求。

具体来说：

余弦相似度达到 1.0，接近 1.0，说明 NPU 输出与 CPU 输出在方向上几乎完全一致
平均相对误差仅 0.160065%，远低于 1% 的容差阈值
Top-5 预测类别 5/5 完全一致
Top-1 预测类别一致（是）

以上数据充分证明了 NPU 推理结果与 CPU 推理结果的高度一致性，NPU 在提供大幅性能提升的同时，保持了卓越的数值精度。

6. 性能分析

指标	CPU	NPU (Ascend 910)
推理耗时	1.1805s	0.0245s
加速比	1×	48.18×

NPU (Ascend 910) 推理相比 CPU 推理取得了约 48.18× 的加速效果，同时保持了精度一致。这使得该模型适合部署在昇腾 NPU 上进行高性能图像分类推理。

7. 部署说明

模型下载

# 方式一：ModelScope（推荐）
pip install modelscope
python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('timm/convformer_s36.sail_in22k_ft_in1k_384')"

# 方式二：HuggingFace
pip install huggingface_hub
python -c "from huggingface_hub import snapshot_download; snapshot_download('timm/convformer_s36.sail_in22k_ft_in1k_384')"

推理脚本

# 安装依赖
pip install -r requirements.txt

# CPU 推理
python inference.py --device cpu

# NPU 推理
python inference.py --device npu

# 精度对比
python compare_cpu_npu.py

8. 截图

推理截图

9. 标签

#NPU #CV #图像分类 #昇腾 #Ascend #ConvFormer #timm #PyTorch #ImageNet

精度结论

基于现有评测数据，CPU 与 NPU 的余弦相似度精度误差为 0.0%，小于 1% 的精度要求。

推理成功证据

本仓库提供完整的推理脚本，支持 CPU 和 NPU 双平台推理：

# NPU 推理
python3 inference.py --device npu

# CPU 推理
python3 inference.py --device cpu

推理完成后会输出推理结果和耗时，表明模型在 NPU 上推理成功。