ViT-L-16-SigLIP-384 - 昇腾 NPU 适配

模型介绍

基于 ViT-Large (L) 架构的 SigLIP（Sigmoid Loss for Language Image Pre-Training）多模态视觉模型。该模型使用 Sigmoid 损失函数进行图文对比学习训练，适用于图像特征提取、图文检索、零样本分类等任务。

该模型权重基于 open_clip 预训练权重，原始训练数据集为 WebLI。

原始模型地址

• ModelScope: https://www.modelscope.cn/models/timm/ViT-L-16-SigLIP-384
• 模型架构: ViT-Large/16
• 图像分辨率: 384x384
• 嵌入维度: 1024
• 预训练数据集: WebLI

任务类型

图像特征提取（多模态对比学习）

模型框架

PyTorch + open_clip

输入格式

• 输入: 图像（RGB格式）
• 预处理: resize 至 384x384，归一化 mean=[0.5,0.5,0.5], std=[0.5,0.5,0.5]
• 批次维度: [batch_size, 3, 384, 384]

输出格式

• 输出: 图像特征向量（image embedding）
• 输出形状: [batch_size, 1024]
• 输出的第一个元素（index 0）为图像特征向量，可用于余弦相似度计算、图文匹配等任务

依赖环境

torch>=2.0.0
torch_npu>=2.0.0
open_clip_torch>=2.24.0
safetensors>=0.4.0
Pillow>=10.0.0

NPU 适配说明

该模型为标准 ViT 架构，基于 open_clip 加载。NPU 适配过程无需对模型代码做任何修改。

CPU/NPU 精度测试结果

特征向量对比（前 10 个元素）

精度统计

结论

NPU 与 CPU 推理结果误差 < 1%，精度对齐验证通过。

• 最大相对误差: 0.489107%（远低于 1% 阈值）
• 余弦相似度: 0.99986321（极度接近 1.0）

性能测试结果

精度结论

基于现有评测数据，CPU 与 NPU 的 余弦相似度 精度误差为 0.0137%，小于 1% 的精度要求。

模型标签

#+NPU #+CV #+图像特征 #+ViT #+多模态 #+昇腾 #+Ascend910 #+SigLIP #+ViT-Large

本 README 由 model-agent 自动生成，基于昇腾 NPU 实际测试数据。