facebook/regnet-y-040 在昇腾 NPU 上的部署
1. 简介
将 ModelScope 上的 facebook/regnet-y-040 图像分类模型适配到华为昇腾 NPU(Ascend910B)上运行。该模型基于 RegNet-Y 架构,包含 4000 万参数,已在 ImageNet-1K 数据集上完成预训练。
2. 验证环境
- 硬件:华为昇腾 910B NPU
- 操作系统:Linux(aarch64)
- Python:3.11
- PyTorch:2.x + torch_npu
- CANN:8.5.1
- transformers:4.57.6
- ModelScope:latest
3. 推理运行
pip install -r requirements.txt
python inference.py
推理结果 (NPU Top-5):
- Top-1: aircraft carrier, carrier, flattop, attack aircraft carrier (0.1216)
- Top-2: projectile, missile (0.1080)
- Top-3: oystercatcher, oyster catcher (0.0843)
- Top-4: missile (0.0762)
- Top-5: submarine, pigboat, sub, U-boat (0.0687)
日志保存在 logs/inference.log。
4. 精度验证
对单张测试图片进行 CPU 与 NPU 一致性验证:
| 指标 | 数值 |
|---|
| max_abs_error | 0.012271 |
| mean_abs_error | 0.002372 |
| relative_error | 0.1591% |
| cosine_similarity | 0.999999 |
| threshold | 1.0% |
| 结果 | PASS |
- CPU Top-1: aircraft carrier, carrier, flattop, attack aircraft carrier
- NPU Top-1: aircraft carrier, carrier, flattop, attack aircraft carrier
- CPU Top-5: aircraft carrier, carrier, flattop, attack aircraft carrier, projectile, missile, oystercatcher, oyster catcher, missile, submarine, pigboat, sub, U-boat
- NPU Top-5: aircraft carrier, carrier, flattop, attack aircraft carrier, projectile, missile, oystercatcher, oyster catcher, missile, submarine, pigboat, sub, U-boat
- Top-1 match: True
- Top-5 match: True
5. 性能参考
| 指标 | 数值 |
|---|
| 平均延迟 | 10.65 ms |
| 最小延迟 | 10.32 ms |
| 最大延迟 | 10.98 ms |
| P50 延迟 | 10.70 ms |
| P90 延迟 | 10.86 ms |
| P95 延迟 | 10.92 ms |
| 吞吐量 | 93.91 images/sec |
测试条件:2 次预热 + 10 次正式测量,batch_size=1,单卡 NPU。
6. 精度评测说明
本项目包含单图 smoke consistency 验证,非官方 ImageNet 完整验证集评测。详细指标见第 4 节。
7. 自验证截图
见 screenshots/self_verification.png。
8. 日志文件
logs/inference.log — NPU 推理结果
logs/accuracy.log — CPU-NPU 精度一致性验证
logs/benchmark.log — 性能基准测试
9. 注意事项
- 使用
ModelScope snapshot_download 下载权重,禁止 HuggingFace 自动下载
- 使用
RegNetForImageClassification.from_pretrained 加载预训练权重
- 推理使用
torch.npu.synchronize() 确保 NPU 计算完成
- 精度验证使用官方 Ascend 一致性指标:max_abs_error、mean_abs_error、relative_error、cosine_similarity
10. 标签 #NPU