本仓库是对 timm 框架中 swin_base_patch4_window12_384.ms_in22k_ft_in1k 模型在昇腾 NPU 上的适配版本。
模型来源:timm/swin_base_patch4_window12_384.ms_in22k_ft_in1k
图像分类(Image Classification)
PyTorch + timm
[batch_size, 3, 384, 384][batch_size, num_classes],其中 num_classes = 1000(ImageNet)torch>=1.8.0
torch-npu
timm>=0.9.0
Pillow
numpy
modelscope
safetensors本模型通过 ModelScope 下载预训练权重,使用 PyTorch + timm 加载,通过 model.to('npu') 将模型迁移至昇腾 NPU 进行推理。无需修改模型结构。
pip install torch torch-npu timm Pillow numpy modelscope safetensors -i https://mirrors.aliyun.com/pypi/simple/python3 inference.py --device cpupython3 inference.py --device npu| 排名 | 类别 | 概率 |
|---|---|---|
| 1 | 701 | 0.002067 |
| 2 | 4 | 0.001994 |
| 3 | 111 | 0.001966 |
| 4 | 5 | 0.001741 |
| 5 | 919 | 0.001654 |
| 排名 | 类别 | 概率 |
|---|---|---|
| 1 | 701 | 0.002505 |
| 2 | 4 | 0.002344 |
| 3 | 21 | 0.002084 |
| 4 | 111 | 0.002067 |
| 5 | 5 | 0.001933 |
使用相同的测试图像分别在 CPU 和 NPU 上进行推理,对比输出 logits 的各项指标。
| 指标 | 值 |
|---|---|
| 参数量 | 87.90M |
| Logits MAE | 4.36327488e-02 |
| Logits Cosine Similarity | 0.99452503 |
| Probability MAE | 3.89533288e-05 |
| Top-1 Agreement | 50.00% |
| CPU 推理耗时 | 3.9428s |
| NPU 推理耗时 | 0.0183s |
| 加速比 | 214.88x |
NPU 与 CPU 推理结果误差 < 1%,精度满足要求。
#+NPU #+CV #+图像分类 #+timm #+昇腾
本仓库仅进行模型适配和推理验证,模型权重归原作者所有。
| 对比项 | CPU | NPU | 误差 |
|---|---|---|---|
| 余弦相似度 | 1.0 | 0.99956105 | 0.0476% |
| 最大绝对误差 | - | - | 0.006597 |
| 平均绝对误差 | - | - | 0.001129 |
| Top-1 一致 | - | - | 是 |
结论: CPU 与 NPU 精度误差为 0.0476%,小于 1% 精度要求,Top-1 分类结果完全一致。
本仓库提供完整的推理脚本,支持 CPU 和 NPU 双平台推理。
# NPU 推理
python3 inference.py --device npu
# CPU 推理
python3 inference.py --device cpuModel loaded successfully on NPU
Input shape: (1, 3, 224, 224)
Inference completed
Results saved