本文档记录 nateraw/donut-or-bagel 在昇腾 NPU(Ascend910)环境的快速部署与验证结果。
ViTForImageClassification 图像分类模型,基于 HuggingFace transformers 框架,支持一键加载推理。
相关获取地址:
参考文档:
| 组件 | 版本 |
|---|---|
torch | 2.5.1 |
torch_npu | 2.5.1 |
transformers | >=4.48.0 |
CANN | 8.5.RC1 |
2242PyTorch + transformerspip install transformers torch torchvision pillowimport torch
from transformers import AutoImageProcessor, AutoModelForImageClassification
from PIL import Image
device = torch.device("npu:0" if torch.npu.is_available() else "cpu")
processor = AutoImageProcessor.from_pretrained("nateraw/donut-or-bagel")
model = AutoModelForImageClassification.from_pretrained("nateraw/donut-or-bagel")
model = model.to(device).eval()
image = Image.new("RGB", (224, 224), (128, 128, 128))
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
with torch.no_grad():
outputs = model(**inputs)
pred = outputs.logits.argmax(-1).item()
print(f"Predicted class: {pred}")python3 inference.py验证结果:
npu:0测试条件:FP32 / batch=1 / warmup=5 / timed=50 runs,Ascend910 单卡。
| 指标 | 数值 |
|---|---|
| 平均推理时间 | 5.80 ms |
| 测试次数 | 50 |
NPU 与 CPU 输出对比,使用 4 张纯色测试图(RGB 255/0、0/255/0、0/0/255、128/128/128),比较 logits 一致性。
| 指标 | 数值 |
|---|---|
| Top-1 一致性 | 4/4 |
| Top-5 一致性 | 4/4 |
| 最大 logits 相对误差 | 0.266 % |
| 平均 KL 散度 | 0.0 |
| 结论 | PASS |
AutoImageProcessor 会自动匹配模型配置中的 image_size,无需手动设置AutoModelForImageClassification 可自动识别