nvidia/mit-b0 Ascend NPU 适配工程

#NPU

1. 模型介绍

• 模型名称: nvidia/mit-b0
• 模型链接: https://ai.gitcode.com/hf_mirrors/nvidia/mit-b0
• 任务类型: 图片识别 / image-classification
• 模型规模: 约 3.3M 参数
• 架构说明: MIT-b0 是 SegFormer 系列中的 Mix Transformer (MiT) 骨干网络，由 NVIDIA 提供。本工程使用其 ImageNet-1k 预训练权重进行图像分类推理。

2. 硬件环境

3. 软件环境

4. 依赖安装

pip install -r requirements.txt

若当前环境已安装 torch / torch_npu，请勿强制覆盖，避免破坏现有 CANN 驱动兼容性。

5. 模型权重来源

权重通过 Transformers from_pretrained 从 Hugging Face Hub 自动下载。若网络无法直连 Hugging Face，请在运行命令前添加镜像：

export HF_ENDPOINT=https://hf-mirror.com

6. NPU 推理运行命令

6.1 单图推理 (inference.py)

export HF_ENDPOINT=https://hf-mirror.com
python inference.py

说明:

• 自动加载 nvidia/mit-b0 的 image processor 和 classification model
• 模型优先部署到 npu:0
• 若 NPU 不可用，脚本会明确报错并退出，不会静默回退到 CPU
• 读取 assets/test.jpg 执行真实推理
• 输出 Top-5 分类结果，并保存到 logs/inference.log 与 logs/prediction.txt

实际运行结果:

状态: 已完成

6.2 精度验证 (eval_accuracy.py)

export HF_ENDPOINT=https://hf-mirror.com
python eval_accuracy.py

说明:

• 使用同一输入 assets/test.jpg 和同一预处理流程
• 分别在 CPU 和 NPU 上运行前向推理，获取 logits
• 对比 logits 绝对差异，并计算 softmax 概率差异
• 判断 Top1 是否一致、概率误差是否小于 1%

实际运行结果:

结论: Accuracy validation PASSED (概率误差 < 1% 且 Top1 一致)

状态: 已完成

6.3 性能测试 (benchmark.py)

export HF_ENDPOINT=https://hf-mirror.com
python benchmark.py

说明:

• 在 NPU 上预热 5 次
• 正式测试 20 次，同步后计时
• 统计平均/最小/最大延迟，并计算 throughput (images/s)

实际运行结果:

状态: 已完成

7. 日志文件说明

8. 常见问题

Q1: 运行脚本时提示 Connection to huggingface.co timed out

原因: 当前环境无法直连 Hugging Face Hub。
解决: 在命令前添加 HF_ENDPOINT=https://hf-mirror.com，例如:

HF_ENDPOINT=https://hf-mirror.com python inference.py

Q2: torch_npu 报 Permission mismatch 或 owner does not match 警告

原因: CANN / torch_npu 安装目录的属主与当前用户不一致。
解决: 此警告不影响推理功能，可忽略。若需消除，请联系管理员统一目录权限。

Q3: 模型加载时报 can't create directory /home/atomgit/ascend/log

原因: Ascend 日志目录不存在。
解决: 执行 mkdir -p /home/atomgit/ascend/log 或忽略此 WARNING。

Q4: 精度验证中 logits 相对误差看起来很大

原因: 某些 logits 接近 0，导致相对误差计算不稳定。
解决: 本工程以 softmax 概率绝对差 和 Top1 一致性 作为主要精度判定标准，更加稳健。

9. 目录结构

nvidia-mit-b0-NPU/
├── assets/
│   └── test.jpg              # 测试图片
├── logs/
│   ├── env_check.log         # 环境检查日志
│   ├── inference.log         # 推理日志
│   ├── prediction.txt        # 预测结果
│   ├── accuracy.log          # 精度验证日志
│   └── benchmark.log         # 性能测试日志
├── scripts/                  # 可放置辅助脚本
├── screenshots/              # 可放置截图
├── README.md                 # 本文件
├── requirements.txt          # Python 依赖
├── inference.py              # NPU 单图推理脚本
├── eval_accuracy.py          # CPU vs NPU 精度验证脚本
└── benchmark.py              # NPU 性能测试脚本

10. 注意事项

• 本模型为 图像分类模型，非大语言模型，不适用 vLLM、TP、EP、DP、MoE 等 LLM 优化技术。
• 推理使用 Transformers + torch_npu，在单卡 Ascend NPU 上运行。
• 所有脚本均包含异常处理，若 NPU 不可用将明确报错并记录原因。