g
gyccc/facebook-levit-128-NPU
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

facebook/levit-128 on Ascend NPU

1. 简介

facebook/levit-128 是 Meta 提出的 LeViT(Vision Transformer)系列轻量级图像分类模型之一,参数量约 12M。本工程将其适配为可在单卡华为昇腾 910B NPU 上运行的推理提交工程。

注意: facebook/levit-128 的官方权重为 LevitForImageClassificationWithTeacher(蒸馏版本),模型输出包含 logits 和 distill_logits。本工程统一使用 outputs.logits 作为分类 logits,不使用 distill_logits。

2. 验证环境

项目版本
NPU 型号Ascend910B4
CANN8.5.1
torch2.9.0+cpu
torch_npu2.9.0.post1
transformers4.57.6
Python3.11.14

3. 推理运行

依赖安装

pip install -r requirements.txt
# torch_npu 通常由昇腾容器预装,无需额外安装

运行命令

export ASCEND_RT_VISIBLE_DEVICES=0
export HF_ENDPOINT=https://hf-mirror.com

# 单图推理
python inference.py

# CPU vs NPU 精度对比
python eval_accuracy.py

# NPU 性能基准测试
python benchmark.py

日志路径

  • logs/inference.log — 推理日志
  • logs/prediction.txt — 预测结果
  • logs/accuracy.log — 精度对比
  • logs/benchmark.log — 性能测试

4. Smoke 验证

torch.npu.is_available(): True
torch.npu.device_count(): 1
torch.npu.get_device_name(0): Ascend910B4

Top-5 预测(test.jpg)

RankLabelProb
1nematode, nematode worm, roundworm (id=111)0.1281
2volcano (id=980)0.0553
3geyser (id=974)0.0458
4seashore, coast, seacoast, sea-coast (id=978)0.0228
5airship, dirigible (id=405)0.0176

注:测试图为随机下载的 picsum.photos 图片,非 ImageNet 类别图片,预测结果仅验证推理流程正确性。

5. 性能参考

指标值
avg19.23 ms
min18.12 ms
max23.07 ms
p5018.30 ms
p9023.07 ms
p9523.07 ms
images/sec52.00

测试条件:Ascend910B4 单卡,batch_size=1,2 次预热 + 5 次正式测试。

6. 精度评测(CPU vs NPU)

指标值
max_abs_diff0.033165
mean_abs_diff0.006578
prob_max_diff0.000851
Top-1 matchTrue
Top-5 matchFalse

说明:此为 smoke accuracy / CPU-NPU 一致性验证,非官方 ImageNet 精度评测。Top-5 差异在 fp16/bf16 精度范围内属正常现象。

7. 自验证截图

见 screenshots/self_verification.png。

8. 日志文件

  • logs/env_check.log
  • logs/inference.log
  • logs/accuracy.log
  • logs/benchmark.log
  • logs/prediction.txt

9. 注意事项

  • 本模型为 LevitForImageClassificationWithTeacher(蒸馏版本),统一使用 outputs.logits 而非 distill_logits
  • 使用官方 LevitImageProcessor(AutoImageProcessor)做预处理,未手写伪预处理
  • 测试图为 picsum.photos 随机图片,非 ImageNet 验证集
  • torch_npu 通常由昇腾容器预装,不要求固定版本
  • Top-5 CPU vs NPU 差异属 fp16 精度范围内的正常现象

10. 标签

#NPU