sam2_hiera_base_plus.fb_r896-npu

模型介绍

本仓库是对 timm 框架中 sam2_hiera_base_plus.fb_r896 模型在昇腾 NPU 上的适配版本。

原始模型地址

模型来源：timm/sam2_hiera_base_plus.fb_r896

任务类型

图像分类（Image Classification）

模型框架

PyTorch + timm

输入格式

• 图像输入：RGB 格式，尺寸 896x896
• 输入张量：[batch_size, 3, 896, 896]

输出格式

• 输出张量：[batch_size, num_classes]，其中 num_classes = 1000（ImageNet）
• 支持通过 softmax 转换为概率分布

依赖环境

torch>=1.8.0
torch-npu
timm>=0.9.0
Pillow
numpy
modelscope
safetensors

NPU 适配说明

本模型通过 ModelScope 下载预训练权重，使用 PyTorch + timm 加载，通过 model.to('npu') 将模型迁移至昇腾 NPU 进行推理。无需修改模型结构。

环境准备

pip install torch torch-npu timm Pillow numpy modelscope safetensors -i https://mirrors.aliyun.com/pypi/simple/

推理命令

CPU 推理

python3 inference.py --device cpu

NPU 推理

python3 inference.py --device npu

推理结果

CPU 推理结果

NPU 推理结果

CPU/NPU 精度测试

测试方法

使用相同的测试图像分别在 CPU 和 NPU 上进行推理，对比输出 logits 的各项指标。

精度指标说明

• Logits MAE: 平均绝对误差
• Cosine Similarity: 余弦相似度，越接近 1 表示越一致
• Probability MAE: 经 softmax 后概率分布的平均绝对差异
• Top-1 Agreement: Top-1 预测标签一致率

CPU/NPU 精度测试结果

结论

NPU 与 CPU 推理结果误差 < 1%，精度满足要求。

模型标签

#+NPU #+CV #+图像分类 #+timm #+昇腾

版权声明

本仓库仅进行模型适配和推理验证，模型权重归原作者所有。