fbnetc_100.rmsp_in1k NPU 推理适配
模型介绍
FBNet-C 是 Facebook 提出的 EfficientNet 系列的神经网络架构搜索（NAS）模型。该模型通过自动化网络搜索找到高效的 CNN 架构，在计算资源受限的条件下实现优秀的图像分类性能。模型在 ImageNet-1k 数据集上训练。
- 原始模型地址: https://huggingface.co/timm/fbnetc_100.rmsp_in1k
- ModelScope 地址: https://www.modelscope.cn/models/timm/fbnetc_100.rmsp_in1k
- 任务类型: 图像分类 (Image Classification)
- 模型框架: PyTorch + timm
模型信息
| 属性 | 值 |
|---|---|
| 输入尺寸 | 224 × 224 |
| 类别数 | 1000 |
| 预处理均值 | [0.485, 0.456, 0.406] |
| 预处理标准差 | [0.229, 0.224, 0.225] |
NPU 适配说明
此模型基于 torch_npu 在华为昇腾 NPU 上完成推理适配。模型权重通过 ModelScope 下载，加载到 timm 定义的模型结构中。CPU 和 NPU 推理结果对比验证精度满足要求。
环境准备
系统要求
- 华为昇腾 NPU (Ascend910)
- CANN 8.5.1
- Python 3.11
- torch 2.9.0 + torch_npu 2.9.0
安装依赖
pip install -r requirements.txt推理命令
CPU 推理
python3 inference.py --device cpuNPU 推理
python3 inference.py --device npu推理结果
CPU 推理结果
=== Running inference on CPU ===
Average inference time: 37.29 ms (10 runs)
Top-5 predictions:
Class 824: 0.316196
Class 735: 0.147000
Class 533: 0.090962
Class 474: 0.076150
Class 911: 0.050965NPU 推理结果
=== Running inference on NPU ===
Average inference time: 6.22 ms (10 runs)
Top-5 predictions:
Class 824: 0.316424
Class 735: 0.146667
Class 533: 0.091406
Class 474: 0.075667
Class 911: 0.050712推理性能对比
| 设备 | 平均推理耗时 (ms) | 加速比 |
|---|---|---|
| CPU | 37.29 | 1.0× |
| NPU (Ascend910) | 6.22 | 6.0× |
NPU 推理相比 CPU 加速约 6.0 倍。
CPU/NPU 精度测试
测试方法
使用相同输入（固定随机种子）分别在 CPU 和 NPU 上运行推理，对比输出 logits 和概率分布。
运行精度测试脚本：
python3 compare_cpu_npu.py精度测试结果
| 指标 | 值 |
|---|---|
| Logits 余弦相似度 | 0.99999881 |
| Logits 最大绝对误差 | 0.00937429 |
| Probabilities 最大绝对误差 | 0.00048237 |
| Probabilities 平均绝对误差 | 0.00000246 |
| Top-1 类别一致率 | 100.00% |
| Top-5 类别一致率 | 100.00% |
Top-5 概率详细对比
| Rank | CPU Class | CPU Prob | NPU Class | NPU Prob | Prob Diff |
|---|---|---|---|---|---|
| 1 | 824 | 0.31619591 | 824 | 0.31642434 | 0.00022843 |
| 2 | 735 | 0.14700003 | 735 | 0.14666750 | 0.00033253 |
| 3 | 533 | 0.09096242 | 533 | 0.09140629 | 0.00044387 |
| 4 | 474 | 0.07614971 | 474 | 0.07566734 | 0.00048237 |
| 5 | 911 | 0.05096451 | 911 | 0.05071178 | 0.00025273 |
精度测试结论
NPU 与 CPU 推理误差为 0.05%（概率最大绝对误差），符合精度误差小于 1% 的要求。
Top-1 和 Top-5 类别完全一致，余弦相似度为 0.99999881，表明 NPU 推理结果与 CPU 高度一致。
部署和推理方法
import timm, torch
from timm.data import resolve_data_config, create_transform
from safetensors.torch import load_file
from PIL import Image
model = timm.create_model('fbnetc_100.rmsp_in1k', pretrained=False)
state_dict = load_file('/path/to/model.safetensors')
model.load_state_dict(state_dict)
model = model.to('npu')
model.eval()
config = resolve_data_config({}, model=model)
transform = create_transform(**config)
img = Image.open('image.jpg')
input_tensor = transform(img).unsqueeze(0).to('npu')
with torch.no_grad():
output = model(input_tensor)
probs = torch.nn.functional.softmax(output, dim=1)
top_probs, top_indices = torch.topk(probs, 5, dim=1)推理截图
推理成功证据
以下日志展示了 NPU 推理成功的关键信息：
Input shape: torch.Size([1, 3, 224, 224])
CPU Top-1 class: 824, prob: 0.316196
NPU Top-1 class: 824, prob: 0.316424
6. Top-1 类别一致率: 100.00%
7. Top-5 类别一致率: 100.00%
8. Top-5 概率详细对比:模型标签
- #+NPU
- #+CV
- #+图像分类
- #+昇腾
- #+FBNet
- #+EfficientNet
仓库说明
本仓库为 fbnetc_100.rmsp_in1k 模型在华为昇腾 NPU 上的适配仓库，包含完整的推理脚本、精度测试脚本和部署说明。