ConvNeXt-Tiny 图像分类模型(timm 权重 in12k_ft_in1k):在 ImageNet-12k 上预训练、ImageNet-1k 上微调,28.59M 参数,输入 224x224,输出 1000 类 logits。本仓库将该模型的真实权重适配到华为昇腾单卡 npu:0(Ascend910B),提供可直接运行的 NPU 推理、CPU-NPU 一致性验证与性能基准脚本。
timm/convnext_tiny.in12k_ft_in1k(revision aa096f03029c7f0ec052013f64c819b34f8ad790)| 项目 | 值 |
|---|---|
| 硬件 | Atlas Ascend910B(Ascend910_9362,HBM 64GB) |
| 驱动 | npu-smi 25.5.5 |
| NPU 处理器 | torch_npu 2.9.0.post1 + CANN 8.5.1 |
| PyTorch | 2.9.0 |
| timm / Python | 1.0.28 / 3.11 |
设备检查:torch.npu.is_available() == True,模型参数实际位于 npu:0,dtype float32(另验证 float16)。
pip install -r requirements.txt权重通过 huggingface_hub.snapshot_download("timm/convnext_tiny.in12k_ft_in1k") 获取(自动使用已缓存权重或配置好的镜像),加载阶段完全离线读本地文件。也可用环境变量 CONVNEXT_LOCAL_DIR 直接指定本地权重目录。
# 默认:真实 NPU 推理 + CPU-NPU 一致性校验,输出 PASS/FAIL
python inference.py
# 性能基准(warmup=3, iters=10, 同步计时)
python inference.py --mode benchmark
# FP16 推理/基准
python inference.py --mode benchmark --dtype fp16默认命令在仓库自带的两张固定样例图(sample_images/car.jpg、sample_images/cats.png)上执行 npu:0 推理,与 CPU FP32 结果比对 Top-1/Top-5 与余弦相似度,全部通过时退出码为 0 并打印 PASS。
以下输出来自本仓 python inference.py 的真实执行(device=npu:0, dtype=fp32, batch=2):
car.jpg top1=car wheel(n02974003)=46.05% top5 其余:grille 10.61% | pickup 9.77% | beach wagon 9.48% | sports car 2.97%
cats.png top1=tiger cat(n02123159)=56.71% top5 其余:tabby 11.84% | Egyptian cat 8.07% | broom 2.78% | doormat 0.65%
consistency(cpu_fp32_vs_fp32_npu) max_abs_diff=5.487728e-02 mean_abs_diff=6.501508e-03 cosine=0.99995762
consistency top1_match=True top5_set_match=True
FINAL device=npu:0 dtype=fp32 consistency_cosine=0.99995762 -> PASS两张样例的 Top-1 均为语义正确类别(汽车 → car wheel;猫 → tiger cat)。该结果为固定样例 smoke consistency + 单批次真实推理验证,非完整 ImageNet-1k 数据集评测。
同一输入分别在前向于 CPU(FP32 参考基准)与 npu:0:
| 对比项 | fp32 (NPU) vs cpu | fp16 (NPU) vs cpu |
|---|---|---|
| max abs diff | 5.49e-02 | 5.30e-02 |
| mean abs diff | 6.50e-03 | — |
| 余弦相似度 | 0.99995762 | 0.99995488 |
| Top-1 一致 | 是(2/2) | 是(2/2) |
| Top-5 集合一致 | 是(2/2) | — |
结论:NPU 输出与 CPU 参考在数值上高度一致,Top-1/Top-5 完全一致。
batch=2(两张 224x224 图像)、torch.npu.synchronize() 同步计时、预热 3 次、正式测试 10 次:
| dtype | avg | min | max | p50 | p90 | p95 | 吞吐 |
|---|---|---|---|---|---|---|---|
| fp32 | 7.20 ms | 7.15 ms | 7.32 ms | 7.19 ms | 7.24 ms | 7.24 ms | 277.89 img/s |
| fp16 | 5.79 ms | 5.78 ms | 5.81 ms | 5.80 ms | 5.81 ms | 5.81 ms | 345.20 img/s |
峰值显存:fp32 分配 137.3 MB(保留 170.0 MB);fp16 分配 73.4 MB。首次调用含算子编译耗时约 179 ms,不计入稳态统计。
以下证据图均由本次真实执行日志渲染:
assets/agent_workflow.png:下载、侦察、本地加载、NPU 推理、一致性验证与性能测试全流程日志。assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名与模型参数所在设备。assets/model_result.png:默认 python inference.py 的完整输出与 PASS 结论。Hardware:NPU NPU Ascend Ascend910 image-classification timm ConvNeXt