本项目将 ModelScope 上的 timm/tf_efficientnet_lite3.in1k 图片分类模型适配到单卡昇腾 NPU(Ascend910)。
snapshot_download 下载本地权重,通过 timm.create_model(pretrained=False) 构建模型结构并加载权重,无需 HuggingFace 直连下载。| 项目 | 版本/型号 |
|---|---|
| NPU | Ascend910 |
| CANN | 8.0.RC2 |
| PyTorch | 2.1.0 |
| torch_npu | 2.1.0 |
| timm | 1.0.x |
| modelscope | 1.x |
pip install -r requirements.txt
python inference.pymodel_utils.py 封装了统一的模型加载与预处理逻辑,供 inference.py、eval_accuracy.py、benchmark.py 复用。
python eval_accuracy.py对单张测试图片进行 CPU 与 NPU 一致性验证:
| 指标 | 数值 |
|---|---|
| max_abs_error | 0.003634 |
| mean_abs_error | 0.000834 |
| relative_error | 0.1525% |
| cosine_similarity | 0.999999 |
| threshold | 1.0% |
| 结果 | PASS |
运行 python benchmark.py(batch=1,预热 2 轮,正式 10 轮):
| 指标 | 数值 |
|---|---|
| Avg latency | 8.62 ms |
| Min latency | 8.57 ms |
| Max latency | 8.66 ms |
| P50 latency | 8.62 ms |
| P90 latency | 8.66 ms |
| P95 latency | 8.66 ms |
| Throughput | 116.07 images/sec |
本项目未在完整 ImageNet 验证集上运行,仅提供单图 smoke consistency 检查。如需完整精度,请使用 ImageNet-val 数据集配合批量评测脚本。
见 screenshots/self_verification.png 与 screenshots/self_verification.txt。
| 日志 | 说明 |
|---|---|
logs/inference.log | 单图推理输出与 Top-5 预测 |
logs/accuracy.log | CPU-NPU 精度一致性对比 |
logs/benchmark.log | 性能基准测试结果 |
.safetensors / .bin / .pth 等)已通过 .gitignore 排除,不会提交到仓库。npu:0 时报错,请确保驱动和 CANN 环境已正确安装。#NPU