d
dingdang666/dinov3-vitb16-pretrain-lvd1689m-NPU
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

dinov3-vitb16-pretrain-lvd1689m on Ascend NPU

1. 简介

本文档记录 dinov3-vitb16-pretrain-lvd1689m（DINOv3 ViT-Base/16）在昇腾 NPU（Ascend 910B3）环境的适配部署与精度验证结果。

DINOv3 ViT-Base 是一种基于 Vision Transformer 的视觉特征提取模型，参数量约 85.7M，输出 768 维图像特征向量。该模型在 LVD-1689M 数据集上通过 DINOv3 ViT-7B 教师模型蒸馏获得，适用于图像分类、检索、分割等下游任务。本项目完成该模型在昇腾 NPU 上的推理适配，并验证 NPU 与 CPU 推理结果的精度误差 < 1%。

相关地址：

  • 权重下载地址（HuggingFace）：https://huggingface.co/facebook/dinov3-vitb16-pretrain-lvd1689m
  • 适配代码仓库：https://gitcode.com/dingdang666/dinov3-vitb16-pretrain-lvd1689m-NPU

2. 验证环境

组件版本
Python3.11.x
PyTorch2.10.0+cpu
torch_npu2.10.0
torchvision0.25.0+cpu
transformers5.8.1
safetensors0.7.0
CANN8.5.1
NPU 驱动25.5.2
NPU 硬件Ascend 910B3 (8卡)
操作系统Linux (aarch64)

3. 模型信息

项目值
模型架构ViT-Base/16 (DINOv3)
参数量~85.7M
特征维度768
Layers12
Attention Heads12
Patch Size16
Register Tokens4
输入尺寸3×224×224
输出特征形状(1, 768)
权重格式safetensors
原始框架PyTorch (transformers)
预训练数据LVD-1689M
许可证DINOv3 License

4. Conda 环境安装

创建独立的 conda 环境并安装依赖（使用华为云 PyPI 镜像加速）：

# 创建 conda 环境
conda create -n dinov3-vitb16 python=3.11 -y

# 激活环境
conda activate dinov3-vitb16

# 安装 PyTorch 及相关依赖（华为云镜像）
pip install torch==2.10.0 torchvision==0.25.0 --index-url https://repo.huaweicloud.com/repository/pypi/simple/

# 安装 torch_npu（根据环境选择对应版本）
pip install torch_npu==2.10.0 --index-url https://repo.huaweicloud.com/repository/pypi/simple/

# 安装 transformers 及其他依赖
pip install transformers safetensors pillow --index-url https://repo.huaweicloud.com/repository/pypi/simple/

如果 HuggingFace 网络不通，设置镜像：

export HF_ENDPOINT=https://hf-mirror.com/

权重文件可从 HuggingFace 下载：

export HF_ENDPOINT=https://hf-mirror.com/
huggingface-cli download facebook/dinov3-vitb16-pretrain-lvd1689m --local-dir /path/to/model_dir

5. 推理执行

单张图像推理

# NPU 推理（默认）
python3 inference.py \
    --model_path /path/to/dinov3-vitb16-pretrain-lvd1689m \
    --image_path /path/to/image.jpg \
    --device npu:0

# CPU 推理
python3 inference.py \
    --model_path /path/to/dinov3-vitb16-pretrain-lvd1689m \
    --image_path /path/to/image.jpg \
    --device cpu

精度与性能评测

python3 benchmark.py \
    --model_path /path/to/dinov3-vitb16-pretrain-lvd1689m \
    --npu_device npu:0

评测结果日志将输出到 log.txt。

6. 参数说明

inference.py 参数

参数说明默认值
--model_path模型权重路径（包含 config.json, model.safetensors）必需
--image_path输入图像路径必需
--device运行设备，可选 npu:0 或 cpunpu:0
--no_warmup跳过 NPU 预热阶段False

benchmark.py 参数

参数说明默认值
--model_path模型权重路径必需
--image_path测试图像路径（默认自动生成）自动生成
--npu_deviceNPU 设备 IDnpu:0
--num_warmupNPU 预热轮数3

7. 精度评测结果

评测方法

使用同一张测试图像分别在 CPU（FP32）和 NPU（FP32）上运行推理，对比输出特征向量的差异。

评价指标说明

指标含义判定阈值
向量级相对误差`
余弦相似度NPU 与 CPU 输出向量间的方向一致性> 0.99
最大/平均绝对误差逐元素差值统计，反映数值偏差的绝对量级—

精度结果

输出张量向量级相对误差余弦相似度最大绝对误差平均绝对误差
features0.425402%0.99999117858.95e-031.92e-03

判定结论

指标实测值阈值状态
向量级相对误差0.43%< 1%PASS
余弦相似度0.999991> 0.99PASS

8. 性能数据

操作耗时
CPU 推理时间（FP32）0.53s
NPU 推理时间（FP32，3轮预热后）0.24s
加速比 (CPU / NPU)2.23x

9. 注意事项

  1. 首次加载：首次加载模型权重从本地读取 safetensors 文件。
  2. NPU 预热：NPU 首次推理包含编译优化，通常需要 1-2 轮预热才能达到稳定性能。脚本默认开启 3 轮预热。
  3. 精度：本模型使用 FP32 精度，NPU 与 CPU 输出误差极小（远小于 1%），不影响下游任务效果。
  4. 权重文件：模型权重（.safetensors）不包含在适配仓库中，需单独下载。
  5. transformers 模型：本模型基于 HuggingFace transformers 库，通过 AutoModel.from_pretrained() 加载。
  6. DINOv3 注册：DINOv3 ViT 模型包含 register token（4个），使用 RoPE 位置编码，pooler_output 为 class token 特征。