mobilevitv2_175.cvnets_in22k_ft_in1k 昇腾 NPU 适配
模型介绍
mobilevitv2_175.cvnets_in22k_ft_in1k 是 MobileViTv2 系列的变体，是基于 timm（PyTorch Image Models）框架的图像分类模型，在 ImageNet-22k 上进行预训练，并在 ImageNet-1k 上进行微调。
- 模型名称: mobilevitv2_175.cvnets_in22k_ft_in1k
- 任务类型: 图像分类
- 模型框架: PyTorch + timm
- 输入格式: 图片（RGB，256x256）
- 输出格式: 1000 类 ImageNet-1k 分类概率
- 原始模型地址: timm/mobilevitv2_175.cvnets_in22k_ft_in1k
- ModelScope 地址: timm/mobilevitv2_175.cvnets_in22k_ft_in1k
环境要求
- 操作系统: Linux (aarch64)
- NPU: Ascend910 (64GB HBM)
- CANN: 8.5.1
- Python: 3.11.14
- PyTorch: 2.9.0
- torch_npu: 2.9.0.post1
- timm: 1.0.27
NPU 适配说明
该模型为标准的 PyTorch 图像分类模型，通过 timm 库加载预训练权重，可在昇腾 Ascend910 NPU 上直接运行。 适配过程的关键步骤：
- 从 ModelScope 下载模型权重文件 (model.safetensors)
- 使用 timm.create_model() 创建模型实例
- 加载本地权重到模型中
- 将模型迁移到 NPU 设备 (npu:0)
- 执行推理
快速开始
1. 安装依赖
pip install torch torch_npu timm Pillow numpy safetensors modelscope如果下载速度慢，可使用清华镜像源：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torch_npu timm Pillow numpy safetensors modelscope2. 下载模型权重
python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('timm/mobilevitv2_175.cvnets_in22k_ft_in1k')"3. 运行推理
python inference.py4. CPU / NPU 精度对比
python compare_cpu_npu.py推理脚本 (inference.py)
import torch
import torch_npu
from timm import create_model
from safetensors.torch import load_file
from PIL import Image
from timm.data import create_transform, resolve_data_config
model = create_model('mobilevitv2_175.cvnets_in22k_ft_in1k', pretrained=False, num_classes=1000)
model.eval()
state_dict = load_file('model.safetensors')
model.load_state_dict(state_dict, strict=False)
model = model.to('npu:0')
img = Image.open('test.jpg').convert('RGB')
config = resolve_data_config({{}}, model=create_model('mobilevitv2_175.cvnets_in22k_ft_in1k', pretrained=False, num_classes=1000))
transform = create_transform(
input_size=256, is_training=False,
mean=config.get('mean', (0.485, 0.456, 0.406)),
std=config.get('std', (0.229, 0.224, 0.225)),
interpolation=config.get('interpolation', 'bicubic'))
input_tensor = transform(img).unsqueeze(0).to('npu:0')
with torch.no_grad():
output = model(input_tensor)
probs = torch.nn.functional.softmax(output[0].cpu(), dim=0)
print(f'Top-1 class: {probs.argmax().item()}')推理结果
CPU 推理结果
| 指标 | 值 |
|---|---|
| Top-1 类别 | 111 |
| Top-5 类别 | [111, 904, 18, 21, 23] |
| 推理耗时 | 0.329s |
NPU 推理结果
| 指标 | 值 |
|---|---|
| Top-1 类别 | 111 |
| Top-5 类别 | [111, 904, 18, 21, 23] |
| 推理耗时 | 0.007s |
推理输出截图
CPU / NPU 精度对比
精度指标
| 指标 | 值 |
|---|---|
| Logits 最大绝对误差 | 0.005795 |
| Logits 平均绝对误差 | 0.001165 |
| 概率最大绝对误差 | 0.00012969 |
| 概率平均绝对误差 | 1.78e-06 |
| 相对误差 | 0.1261% |
| Cosine 相似度 | 0.999999 |
Top-K 对比
| 指标 | CPU | NPU | 匹配 |
|---|---|---|---|
| Top-1 | 111 | 111 | ✓ |
| Top-5 重叠 | 5/5 | 5/5 | ✓ |
性能对比
| 指标 | CPU | NPU | 加速比 |
|---|---|---|---|
| 推理耗时 | 0.329s | 0.007s | 45.02x |
精度测试结论
NPU 与 CPU 推理结果误差为 0.1261%，符合精度误差小于 1% 的要求。
推理成功证据
以下日志展示了 NPU 推理成功的关键信息：
--- Top-K ---
Top-1 CPU: 111, NPU: 111, Match: True
Top-5 overlap: 5/5
CPU: 0.329s, NPU: 0.007s, Speedup: 45.02x模型标签
#+NPU #+CV #+图像分类 #+昇腾 #+PyTorch #+timm #+Ascend910