timm/pvt_v2_b2.in1k 昇腾 NPU 适配

1. 模型信息

• 模型名称：timm/pvt_v2_b2.in1k
• 模型来源：Hugging Face / timm
• 模型类型：ImageNet-1k 图像分类模型
• 模型结构：PVT-v2-B2
• 输出类别数：1000
• 推理框架：PyTorch + timm + torch-npu
• 运行设备：Ascend NPU
• 适配目标：完成 timm/pvt_v2_b2.in1k 模型在昇腾 NPU 环境下的图像分类推理验证，并与 CPU 推理结果进行误差对比。

本项目面向昇腾 Model-Agent 模型适配大赛赛道一，完成 timm/pvt_v2_b2.in1k 图像分类模型在 Ascend NPU 环境下的适配验证。项目基于 PyTorch、timm 和 torch-npu，完成模型加载、测试图片生成、CPU 推理、NPU 推理、Top-5 分类输出、CPU/NPU 输出一致性对比以及验证材料整理。

2. 项目说明

timm/pvt_v2_b2.in1k 是 timm 模型库中的 PVT-v2 图像分类模型，使用 ImageNet-1k 数据集训练。模型输入一张 RGB 图像后输出 1000 维 ImageNet 分类 logits，并进一步得到 Top-5 分类结果。

本次适配重点包括：

1. 在 Ascend NPU Notebook 环境中安装依赖；
2. 从 Hugging Face / timm 加载 pvt_v2_b2.in1k 模型；
3. 构造测试图片 test.jpg；
4. 分别执行 CPU 与 NPU 图像分类推理；
5. 保存 CPU/NPU 的 logits、概率和 Top-5 分类结果；
6. 对 CPU 与 NPU 输出进行误差对比；
7. 保存日志、截图和适配报告，用于赛道一模型适配验证提交。

3. 工程结构

.
├── README.md
├── adaptation_report.md
├── download_model.sh
├── make_test_image.py
├── inference.py
├── compare_cpu_npu.py
├── requirements.txt
├── test.jpg
├── cpu_result.json
├── cpu_result.txt
├── cpu_infer.log
├── npu_result.json
├── npu_result.txt
├── npu_infer.log
├── compare_result.txt
├── fusion_result.json
├── run.log
└── screenshots/
    ├── npu_env.png
    ├── npu_result.png
    └── compare_result.png

其中：

• download_model.sh：模型下载脚本；
• make_test_image.py：测试图片生成脚本；
• inference.py：CPU/NPU 推理脚本；
• compare_cpu_npu.py：CPU/NPU 输出误差对比脚本；
• cpu_result.json：CPU 推理结构化结果；
• cpu_result.txt：CPU 推理日志；
• cpu_infer.log：CPU 推理补充日志；
• npu_result.json：NPU 推理结构化结果；
• npu_result.txt：NPU 推理日志；
• npu_infer.log：NPU 推理补充日志；
• compare_result.txt：CPU/NPU 误差对比结果；
• fusion_result.json：融合/汇总结果文件；
• run.log：完整运行日志；
• adaptation_report.md：适配报告；
• screenshots/：验证截图材料。

4. 环境检查

在 Ascend NPU Notebook 中执行以下命令检查运行环境：

npu-smi info
python --version
python - <<'PY'
import torch
import timm

print("torch:", torch.__version__)
print("timm:", timm.__version__)

try:
    import torch_npu
    print("torch_npu import success")
    print("npu available:", torch.npu.is_available())
except Exception as e:
    print("torch_npu import failed:", repr(e))
PY

环境检查截图保存为：

screenshots/npu_env.png

该截图用于证明当前运行环境存在 Ascend NPU，并记录 NPU 型号、运行状态和 Python 版本信息。

5. 模型下载

运行：

bash download_model.sh

模型来源为 Hugging Face / timm：

timm/pvt_v2_b2.in1k

推理日志中显示模型加载名称为：

loaded_model_name: hf_hub:timm/pvt_v2_b2.in1k

说明本次验证使用 Hugging Face Hub 上的 timm 模型进行加载和推理。

6. 测试输入

本项目使用测试图片：

test.jpg

推理流程包括：

1. 读取测试图片；
2. 使用 timm 对图片进行预处理；
3. 构造模型输入张量；
4. 输入 PVT-v2-B2 图像分类模型；
5. 输出 1000 维 ImageNet 分类 logits；
6. 计算 softmax 概率；
7. 输出 Top-5 分类结果。

输入张量形状为：

[1, 3, 224, 224]

7. CPU 推理

运行：

python inference.py --device cpu --image test.jpg --output cpu_result.json 2>&1 | tee cpu_result.txt

CPU 推理输出文件：

cpu_result.json
cpu_result.txt
cpu_infer.log

CPU 推理日志摘要如下：

model: timm/pvt_v2_b2.in1k
loaded_model_name: hf_hub:timm/pvt_v2_b2.in1k
device: cpu
image: test.jpg
input_shape: [1, 3, 224, 224]
output_shape: [1, 1000]
elapsed_seconds: 0.762340

CPU Top-5 输出如下：

rank 1: class_id=644, logit=7.11109781, prob=0.25112861
rank 2: class_id=542, logit=6.91678572, prob=0.20677951
rank 3: class_id=696, logit=5.92179728, prob=0.07645212
rank 4: class_id=462, logit=5.19701576, prob=0.03703573
rank 5: class_id=840, logit=4.98442745, prob=0.02994298

CPU logits 统计信息如下：

min: -2.53592515
max: 7.11109781
mean: -0.05366700
std: 0.96534866

8. NPU 推理

运行：

python inference.py --device npu --image test.jpg --output npu_result.json 2>&1 | tee npu_result.txt

NPU 推理输出文件：

npu_result.json
npu_result.txt
npu_infer.log

NPU 推理日志摘要如下：

model: timm/pvt_v2_b2.in1k
loaded_model_name: hf_hub:timm/pvt_v2_b2.in1k
device: npu
image: test.jpg
input_shape: [1, 3, 224, 224]
output_shape: [1, 1000]
elapsed_seconds: 19.092288

NPU Top-5 输出如下：

rank 1: class_id=644, logit=7.11043072, prob=0.24969788
rank 2: class_id=542, logit=6.93171644, prob=0.20883353
rank 3: class_id=696, logit=5.92732239, prob=0.07648873
rank 4: class_id=462, logit=5.21586275, prob=0.03755039
rank 5: class_id=840, logit=4.99198008, prob=0.03001812

NPU logits 统计信息如下：

min: -2.53873825
max: 7.11043072
mean: -0.05367553
std: 0.96650928

NPU 推理结果截图保存为：

screenshots/npu_result.png

9. CPU/NPU 误差对比

运行：

python compare_cpu_npu.py --cpu cpu_result.json --npu npu_result.json 2>&1 | tee compare_result.txt

对比脚本会读取 CPU 与 NPU 的 logits 输出，并计算：

• CPU/NPU 输出形状；
• CPU Top-5；
• NPU Top-5；
• CPU/NPU Top-1 是否一致；
• CPU/NPU Top-5 顺序是否一致；
• Top-5 重合数量；
• 最大绝对误差；
• 平均绝对误差；
• RMSE；
• 最大相对误差；
• 平均相对误差；
• 余弦相似度；
• 是否通过验证。

对比结果保存为：

compare_result.txt

10. 自验证结果

本次 timm/pvt_v2_b2.in1k 适配验证的 CPU/NPU 误差结果如下：

对应的 compare_result.txt 内容如下：

CPU/NPU comparison result
==================================================
model: timm/pvt_v2_b2.in1k
cpu_result: cpu_result.json
npu_result: npu_result.json

cpu_output_shape: (1000,)
npu_output_shape: (1000,)

cpu_top5: [644, 542, 696, 462, 840]
npu_top5: [644, 542, 696, 462, 840]
same_top1: True
same_top5_order: True
top5_overlap: 5/5

max_abs_error: 0.0188469887
mean_abs_error: 0.0021711333
rmse: 0.0029343603
max_relative_error: 0.0026503627
mean_relative_error: 0.0034133529
cosine_similarity: 0.9999961179

passed: True

根据上述结果，CPU 与 NPU 的 Top-1 结果一致，Top-5 顺序完全一致，Top-5 重合数量为 5/5。最大绝对误差为 0.0188469887，平均绝对误差为 0.0021711333，余弦相似度达到 0.9999961179，验证结果为 passed: True。因此，本次 timm/pvt_v2_b2.in1k 昇腾 NPU 推理验证通过。

11. 验证截图材料

11.1 NPU 环境截图

该截图展示 Ascend NPU Notebook 环境、npu-smi info 输出和 Python 版本信息。

11.2 NPU 推理结果截图

该截图展示 NPU 推理日志，包括模型名称、运行设备、输入图片、输入张量形状、输出张量形状和 Top-5 分类结果。

11.3 CPU/NPU 误差对比截图

该截图展示 CPU/NPU 输出误差对比结果，包括 Top-1 一致性、Top-5 一致性、最大绝对误差、平均绝对误差、RMSE、相对误差和余弦相似度。

12. 运行日志与提交材料

本项目提交材料包括：

• README.md
• adaptation_report.md
• download_model.sh
• make_test_image.py
• inference.py
• compare_cpu_npu.py
• requirements.txt
• test.jpg
• cpu_result.json
• cpu_result.txt
• cpu_infer.log
• npu_result.json
• npu_result.txt
• npu_infer.log
• compare_result.txt
• fusion_result.json
• run.log
• screenshots/npu_env.png
• screenshots/npu_result.png
• screenshots/compare_result.png

完整运行日志可查看：

run.log

CPU 推理日志可查看：

cpu_result.txt
cpu_infer.log

NPU 推理日志可查看：

npu_result.txt
npu_infer.log

CPU/NPU 误差对比结果可查看：

compare_result.txt

13. 适配说明

本项目的适配工作包括：

1. 在 Ascend NPU 环境中完成依赖安装；
2. 编写 Hugging Face / timm 模型下载脚本；
3. 使用 timm 加载 pvt_v2_b2.in1k 模型；
4. 编写测试图片生成脚本；
5. 编写 CPU/NPU 统一推理脚本；
6. 支持测试图片输入和 timm 图像预处理；
7. 保存 CPU 与 NPU 的结构化分类结果；
8. 编写 CPU/NPU logits 误差对比脚本；
9. 计算 Top-1 一致性、Top-5 顺序一致性、最大绝对误差、平均绝对误差、RMSE、相对误差和余弦相似度；
10. 输出完整日志、截图和适配报告。

14. 结论

本项目完成了 timm/pvt_v2_b2.in1k 模型在 Ascend NPU 环境下的图像分类推理适配验证。

验证结果表明，NPU 推理能够正常完成模型加载、图像预处理和 Top-5 分类输出。CPU 与 NPU 的 Top-1 结果一致，Top-5 顺序完全一致，最大绝对误差为 0.0188469887，平均绝对误差为 0.0021711333，余弦相似度达到 0.9999961179，并通过验证。本项目可作为赛道一模型适配提交材料。