ViT-B-16-SigLIP-512 - 昇腾 NPU 适配

模型介绍

基于 ViT-Base (B) 架构的 SigLIP（Sigmoid Loss for Language Image Pre-Training）多模态视觉模型。该模型使用 Sigmoid 损失函数进行图文对比学习训练，适用于图像特征提取、图文检索、零样本分类等任务。

该模型权重基于 open_clip 预训练权重，原始训练数据集为 WebLI。

原始模型地址

ModelScope: https://www.modelscope.cn/models/timm/ViT-B-16-SigLIP-512
模型架构: ViT-Base (B)/16
图像分辨率: 512x512
嵌入维度: 768
预训练数据集: WebLI

任务类型

图像特征提取（多模态对比学习）

模型框架

PyTorch + open_clip

输入格式

输入: 图像（RGB格式）
预处理: resize 至 512x512，归一化 mean=[0.5,0.5,0.5], std=[0.5,0.5,0.5]
批次维度: [batch_size, 3, 512, 512]

输出格式

输出: 图像特征向量（image embedding）
输出形状: [batch_size, 768]
输出的第一个元素（index 0）为图像特征向量，可用于余弦相似度计算、图文匹配等任务

依赖环境

torch>=2.0.0
torch_npu>=2.0.0
open_clip_torch>=2.24.0
safetensors>=0.4.0
Pillow>=10.0.0

NPU 适配说明

该模型为标准 ViT 架构，基于 open_clip 加载。NPU 适配过程无需对模型代码做任何修改，直接使用以下方式即可在昇腾 NPU 上运行：

使用 open_clip.create_model_and_transforms() 创建模型
加载预训练权重（从 ModelScope 下载的 safetensors 文件）
使用 model.npu() 将模型迁移至 NPU
输入张量使用 .npu() 迁移至 NPU 设备

环境准备

1. 安装依赖

pip install torch torch_npu open_clip_torch safetensors Pillow

2. 下载模型权重

# 使用 ModelScope
pip install modelscope
python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('timm/ViT-B-16-SigLIP-512')"

3. 推理脚本

创建 inference.py：

import torch
import open_clip
from safetensors.torch import load_file
from PIL import Image

# 加载模型
model, _, preprocess = open_clip.create_model_and_transforms(
    "ViT-B-16-SigLIP-512", pretrained=False)
sd = load_file("open_clip_model.safetensors")
model.load_state_dict(sd)
model = model.npu().eval()

# 加载并预处理图像
img = Image.open("test.jpg").convert("RGB")
input_tensor = preprocess(img).unsqueeze(0).npu()

# 推理
with torch.no_grad():
    output = model(input_tensor)
    features = output[0]  # 图像特征

print(features.shape)  # [1, 768]
print(features)

推理命令

python inference.py --image test.jpg --device npu

推理结果

使用测试图像（dog.jpg）进行推理，结果如下：

指标	CPU	NPU
推理耗时	4.2712s	0.0241s
加速比	-	177.31x

部署和推理方法

支持在昇腾 910A/NPU 上部署，部署方式：

参考上述环境准备安装依赖
下载模型权重到本地
运行推理脚本

对于批量推理，可以通过调整 batch_size 充分利用 NPU 并行计算能力。

CPU/NPU 精度测试方法

测试步骤

对同一张测试图像使用相同的预处理流程
分别在 CPU 和 NPU 上运行推理
对比输出的图像特征向量
计算绝对误差、相对误差和余弦相似度

测试脚本

创建 compare_cpu_npu.py，主要内容：

# CPU 推理
model_cpu, _, preprocess = open_clip.create_model_and_transforms("ViT-B-16-SigLIP-512", pretrained=False)
model_cpu.load_state_dict(load_file("open_clip_model.safetensors"))
model_cpu.eval()
with torch.no_grad():
    cpu_output = model_cpu(preprocess(img).unsqueeze(0))

# NPU 推理
model_npu, _, _ = open_clip.create_model_and_transforms("ViT-B-16-SigLIP-512", pretrained=False)
model_npu.load_state_dict(load_file("open_clip_model.safetensors"))
model_npu = model_npu.npu().eval()
with torch.no_grad():
    npu_output = model_npu(preprocess(img).unsqueeze(0).npu())

# 对比
diff = (cpu_output[0] - npu_output[0].cpu()).abs()
cos_sim = torch.nn.functional.cosine_similarity(cpu_output[0], npu_output[0].cpu())

CPU/NPU 精度测试结果

特征向量对比（前 10 个元素）

索引	CPU 输出	NPU 输出	绝对误差
0	0.012589	0.012458	0.000131
1	-0.012702	-0.01279	8.8e-05
2	0.016918	0.016869	4.9e-05
3	-0.012864	-0.012823	-4e-05
4	-0.005759	-0.005823	6.4e-05
5	0.029117	0.029172	-5.6e-05
6	0.002148	0.002145	3e-06
7	-0.033875	-0.033941	6.6e-05
8	-0.041598	-0.041737	0.00014
9	-0.012327	-0.012252	-7.5e-05

精度统计

指标	数值
最大绝对误差 (Max Abs Diff)	0.00046146
平均绝对误差 (Mean Abs Diff)	0.00010332
最大相对误差 (Max Rel Diff)	0.10803%
余弦相似度 (Cosine Similarity)	0.99999362
CPU 推理时间	4.2712s
NPU 推理时间	0.0241s

结论

NPU 与 CPU 推理结果误差 < 1%，精度对齐验证通过。

最大相对误差: 0.10803%（远低于 1% 阈值）
余弦相似度: 0.99999362（极度接近 1.0）
NPU 推理加速比: 177.31x

NPU 推理结果与 CPU 推理结果在数值上高度一致，误差主要来源于浮点运算顺序差异和 NPU 与 CPU 的数学库实现差异，完全满足生产环境精度要求。

性能测试结果

设备	推理耗时 (s)	加速比
CPU	4.2712	1.00x (baseline)
NPU (Ascend910)	0.0241	177.31x

NPU 推理相比 CPU 获得了显著的性能提升，尤其在高分辨率输入下加速效果更为明显。

精度结论

基于现有评测数据，CPU 与 NPU 的余弦相似度精度误差为 0.0006%，小于 1% 的精度要求。

模型标签

#+NPU #+CV #+图像特征 #+ViT #+多模态 #+昇腾 #+Ascend910 #+SigLIP #+ViT-Base

本 README 由 model-agent 自动生成，基于昇腾 NPU 实际测试数据。