swin-base-patch4-window12-384-in22k

1. 简介

本文档记录 microsoft/swin-base-patch4-window12-384-in22k（Swin-Base 图像分类模型）在昇腾 NPU（Ascend910）环境的快速部署与验证结果。

SwinForImageClassification 图像分类模型基于 PyTorch + transformers 框架，支持一键加载推理。

相关获取地址：

• 权重下载地址（ModelScope）：https://modelscope.cn/models/microsoft/swin-base-patch4-window12-384-in22k
• 权重下载地址（HuggingFace）：https://huggingface.co/microsoft/swin-base-patch4-window12-384-in22k

参考文档：

• https://huggingface.co/docs/transformers/en/model_doc/auto#transformers.AutoModelForImageClassification
• https://pytorch.org/docs/stable/index.html

2. 验证环境

• NPU：Ascend910（单卡）
• 输入尺寸：384x384
• 类别数：21841 (ImageNet-22K)
• 推理框架：PyTorch + transformers

3. 快速部署

3.1 环境准备

pip install transformers torch torchvision pillow

3.2 推理代码

import torch
from transformers import AutoImageProcessor, AutoModelForImageClassification
from PIL import Image

device = "npu:0" if torch.npu.is_available() else "cpu"
processor = AutoImageProcessor.from_pretrained("microsoft/swin-base-patch4-window12-384-in22k")
model = AutoModelForImageClassification.from_pretrained("microsoft/swin-base-patch4-window12-384-in22k")
model = model.to(device).eval()

image = Image.new("RGB", (224, 224), (128, 128, 128))
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
with torch.no_grad():
    outputs = model(**inputs)
pred = outputs.logits.argmax(-1).item()
print(f"Predicted class: {pred}")

4. 冒烟验证

python3 inference.py

验证结果：

• 模型成功加载到 npu:0
• 输出预测类别（整数索引）
• 推理过程无报错

5. 性能参考

测试条件：FP32 / batch=1 / warmup=5 / timed=50 runs，Ascend910 单卡。

6. 精度评测

NPU 与 CPU 输出对比，使用 4 张纯色测试图（RGB 255/0、0/255/0、0/0/255、128/128/128），比较 logits 一致性。

7. 注意事项

• AutoImageProcessor 会自动匹配模型配置中的 image_size，无需手动设置
• Swin Transformer 使用 SwinForImageClassification，AutoModelForImageClassification 可自动识别
• NPU 推理结果与 CPU 在 Top-1/Top-5 完全一致，最大 logits 相对误差 < 1%（判定阈值）
• 22k 预训练模型（ImageNet-22K）id2label 为 21841 类，使用 AutoImageProcessor 自动处理输入分辨率