DINOv2-large 昇腾 NPU 适配测评报告

# 华为镜像源加速
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/

# 安装 torch_npu 运行时依赖
pip install numpy==1.26.4
pip install decorator attrs psutil

# 安装 PyTorch + torch_npu（版本请参考华为版本配套表）
pip install torch>=2.1.0
pip install torch_npu>=2.1.0
pip install torchvision>=0.16.0

# 默认路径，按实际安装位置调整
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 指定可见 NPU 卡
export ASCEND_RT_VISIBLE_DEVICES=0

# （可选）开启调试日志
# export ASCEND_GLOBAL_LOG_LEVEL=1
# export ASCEND_SLOG_PRINT_TO_STDOUT=1

python3 -c "import torch; import torch_npu; a = torch.randn(3, 4).npu(); print(a + a)"

# 无 xformers / CUDA 依赖
pip install omegaconf torchmetrics==0.10.3 fvcore iopath submitit

import torch_npu
from torch_npu.contrib import transfer_to_npu

import torch

# 加载 dinov2-large 模型
from dinov2.hub.backbones import dinov2_vitl14

model = dinov2_vitl14(pretrained=True)   # 加载预训练权重
model.eval()
model = model.npu()                       # 移至 NPU

# 推理
dummy_input = torch.randn(1, 3, 224, 224).npu()
with torch.no_grad():
    features = model(dummy_input)         # output shape: [1, 1024]

print(f"Feature shape: {features.shape}")
print(f"Feature norm: {features.norm():.4f}")

# 获取最后 4 个 Transformer Block 的特征
features = model.get_intermediate_layers(
    dummy_input,
    n=4,
    return_class_token=True
)
for i, (patch_tokens, cls_token) in enumerate(features):
    print(f"Block {i}: patch={list(patch_tokens.shape)}, cls={list(cls_token.shape)}")

batch = torch.randn(8, 3, 224, 224).npu()
with torch.no_grad():
    features = model(batch)  # [8, 1024]

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=0

python test_dinov2_npu.py

DINOv2-large 昇腾 NPU 适配验证
PyTorch version: 2.1.0
torch_npu available: True

============================================================
Test 1: 加载 dinov2-large (ViT-L/14) 模型
============================================================
Model type: DinoVisionTransformer
Parameters: 300.4M
模型加载成功!

============================================================
Test 2: NPU 推理测试
============================================================
Input shape:  torch.Size([1, 3, 224, 224])
Output shape: torch.Size([1, 1024])
Output device: npu:0
Output dtype: torch.float32
Output norm: 42.8765
NPU 推理成功!

============================================================
Test 3: 中间层特征提取
============================================================
提取了 4 个中间层特征
  Layer 0: patch_tokens shape=[1, 256, 1024], cls_token shape=[1, 1024]
  Layer 1: patch_tokens shape=[1, 256, 1024], cls_token shape=[1, 1024]
  Layer 2: patch_tokens shape=[1, 256, 1024], cls_token shape=[1, 1024]
  Layer 3: patch_tokens shape=[1, 256, 1024], cls_token shape=[1, 1024]
中间层特征提取成功!

============================================================
Test 4: 多分辨率输入测试
============================================================
  Resolution 224x224: output shape=[1, 1024]
  Resolution 336x336: output shape=[1, 1024]
  Resolution 518x518: output shape=[1, 1024]
多分辨率测试成功!

============================================================
Test 5: 批量推理测试
============================================================
  Batch size 1: output shape=[1, 1024]
  Batch size 2: output shape=[2, 1024]
  Batch size 4: output shape=[4, 1024]
批量推理测试成功!

============================================================
全部测试通过! DINOv2-large NPU 适配成功!
============================================================

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=0

python benchmark_dinov2_npu.py --batch-size 32 --iterations 100

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export ASCEND_RT_VISIBLE_DEVICES=0

python eval_imagenet_npu.py \
    --data-path /path/to/imagenet \
    --mode knn \
    --batch-size 256 \
    --num-workers 0 \
    --nb-knn 10 20 100 200

python eval_imagenet_npu.py \
    --data-path /path/to/imagenet \
    --mode linear \
    --batch-size 256 \
    --num-workers 0

import torch
import numpy as np
import random

torch.manual_seed(42)
np.random.seed(42)
random.seed(42)
try:
    torch.npu.manual_seed_all(42)
except Exception:
    pass

dinov2/
├── dinov2/
│   ├── npu_compat.py              # NPU 兼容层辅助模块
│   ├── train/train.py             # 训练入口（已适配 NPU）
│   ├── train/ssl_meta_arch.py     # 训练元架构（已适配 NPU）
│   ├── distributed/__init__.py    # 分布式模块（nccl → hccl）
│   ├── eval/
│   │   ├── setup.py               # 评估入口（已适配 NPU）
│   │   ├── linear.py              # 线性分类评估（已适配 NPU）
│   │   ├── knn.py                 # k-NN 评估（已适配 NPU）
│   │   ├── log_regression.py      # 逻辑回归评估（已适配 NPU）
│   │   ├── utils.py               # 评估工具（已适配 NPU）
│   │   └── cell_dino/             # Cell-DINO 评估（已适配 NPU）
│   ├── layers/                    # 模型层（xFormers already optional）
│   ├── loss/                      # 损失函数（已适配 NPU）
│   └── utils/                     # 工具函数（已适配 NPU）
├── test_dinov2_npu.py             # NPU 功能验证脚本（5 项测试）
├── benchmark_dinov2_npu.py        # NPU 性能基准测试脚本
├── eval_imagenet_npu.py           # NPU ImageNet 精度评估脚本
├── scripts/
│   ├── verify_dinov2_npu.sh       # 功能验证快捷脚本
│   ├── benchmark_dinov2_npu.sh    # 性能测试快捷脚本
│   └── eval_accuracy_dinov2_npu.sh # 精度评估快捷脚本
├── requirements-npu.txt           # NPU 环境依赖
└── ~/.kernelcat/skills/dinov2-large/SKILL.md  # 模型专属迁移 Skill