PaliGemma 2 模型卡片

模型页面: PaliGemma

Transformers PaliGemma 2 3B 权重版本，采用 448*448 输入图像和 512 个令牌的输入/输出文本序列进行预训练。 该模型提供 bfloat16 格式用于微调。

资源与技术文档:

• Kaggle 上的 PaliGemma 2
• 负责任生成式 AI 工具包

使用条款: 条款

作者: Google

模型信息

模型概要

PaliGemma 2 是 PaliGemma 视觉语言模型（VLM）的升级版本，融合了 Gemma 2 模型的能力。PaliGemma 系列模型受 PaLI-3 启发，基于开源组件构建，包括 SigLIP 视觉模型和 Gemma 2 语言模型。该模型支持图像和文本双模态输入，并生成文本输出，具备多语言处理能力。其设计目标是在图像及短视频描述、视觉问答、文本阅读、目标检测与目标分割等广泛视觉语言任务上实现顶尖的微调性能。

模型架构

PaliGemma 2 由 Transformer 解码器 和 视觉 Transformer 图像编码器 组合构成。 文本解码器初始化自参数规模为 2B、9B 和 27B 的 Gemma 2 模型。 图像编码器初始化自 SigLIP-So400m/14 模型。 与原始 PaliGemma 模型类似，PaliGemma 2 遵循 PaLI-3 方案进行训练。

输入与输出

• 输入: 图像与文本字符串，例如描述图像的提示词或问题
• 输出: 根据输入生成的响应文本，包括图像描述、问题答案、目标边界框坐标列表或分割编码字

引用文献

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

模型数据

预训练数据集

PaliGemma 2 基于以下混合数据集进行预训练：

• WebLI： WebLI（网络语言图像）是从公共网络构建的大规模多语言图文数据集。通过使用多种 WebLI 数据子集，模型获得了视觉语义理解、目标定位、视觉文本理解及多语言处理等多样化能力。
• CC3M-35L： 从网页中精选的英文图像-替代文本对（Sharma 等人, 2018）。我们使用 Google Cloud Translation API 将其翻译为另外 34 种语言。
• VQ²A-CC3M-35L/VQG-CC3M-35L： VQ2A-CC3M 的子集（Changpinyo 等人, 2022a），通过 Google Cloud Translation API 翻译为与 CC3M-35L 相同的 34 种附加语言。
• OpenImages： 基于 OpenImages 数据集通过手工规则生成的检测与目标感知问答数据（Piergiovanni 等人 2022）。
• WIT： 从维基百科收集的图像和文本（Srinivasan 等人, 2021）。

PaliGemma 2 基于 Gemma 2 构建，您可在 Gemma 2 模型卡片中查看 Gemma 2 的预训练数据集信息。

数据责任过滤

为确保 PaliGemma 2 基于安全可靠的数据进行训练，我们对 WebLI 数据应用了以下过滤措施：

• 色情图像过滤： 该过滤器会移除被判定为色情性质的图像。
• 文本安全过滤： 我们识别并过滤与不安全文本配对的图像。不安全文本包括涉及儿童性虐待影像（CSAI）、色情内容、粗俗言语或其他冒犯性内容。
• 文本毒性过滤： 我们进一步使用 Perspective API 识别并过滤与具有侮辱性、淫秽、仇恨或其他毒性文本配对的图像。
• 文本个人信息过滤： 我们使用 Cloud Data Loss Prevention (DLP) API 过滤特定个人信息及其他敏感数据，以保护个人隐私。已移除社会保障号码等标识符及其他敏感信息类型。
• 附加方法： 根据我们的政策与实践，基于内容质量与安全性进行过滤。

在 Transformers 中使用

以下代码片段以参考为目的使用 google/paligemma2-3b-pt-448 模型。 这是一个基础模型，建议在下游任务上完成微调后使用。

此处提供展示 PaliGemma 2 微调过程的 notebook 供参考。

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-3b-pt-448"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

# Leaving the prompt blank for pre-trained models
prompt = ""
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

实现信息

硬件配置

PaliGemma 2 采用最新一代张量处理单元（TPUv5e）进行训练。

软件框架

训练使用 JAX、Flax、TFDS 及 big_vision 完成。

JAX 使研究人员能够充分利用包括 TPU 在内的最新硬件优势，实现大模型更快速高效的训练。TFDS 用于访问数据集，Flax 用于构建模型架构。PaliGemma 2 的微调代码与推理代码已发布于 big_vision GitHub 代码库。

评估信息

基准测试结果

为验证 PaliGemma 2 在各类学术任务中的迁移能力，我们在每个任务上对预训练模型进行微调。通过报告不同分辨率下的结果，展示哪些任务能从更高分辨率中受益。需特别说明的是，这些任务及数据集均未包含在预训练数据混合集中，且其图像已明确从网络级预训练数据中移除。

PaliGemma 2 各模型分辨率与规模性能对比

补充基准测试

ICDAR 2015 incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B 完全匹配率：94.8

DOCCI

• 平均字符数：字符数量的平均值
• 平均句子数：句子数量的平均值
• 非蕴含句：非蕴含关系的句子占比

MIMIC-CXR

视觉空间推理

伦理与安全

评估方法

我们的评估方法包括针对相关内容政策的结构化伦理与安全评估，具体涵盖：

• 人工评估涉及儿童安全、内容安全和表征性危害的提示词。评估方法详见 Gemma 模型卡，但采用图像描述和视觉问答设置。
• 图像到文本基准评估：针对相关学术数据集（如 FairFace 数据集 [Karkkainen 等人，2021]）进行基准测试。

评估结果

• 伦理与安全评估的人工评估结果在可接受阈值内，符合 内部政策 对于儿童安全、内容安全和表征性危害等类别的要求。
• 除了稳健的内部评估外，我们还使用 Perspective API（阈值为 0.8）来测量来自 FairFace 数据集的图像生成描述中的毒性、污言秽语和其他潜在问题。我们报告了在感知性别、种族和年龄属性各子组中观察到的最大值和中位数。

使用范围与限制

预期用途

开放视觉语言模型（VLM）在各行业和领域具有广泛的应用前景。以下潜在用途列表并非详尽无遗，其目的在于提供模型创建者在训练和开发过程中考虑的可能用例背景信息。Gemma模型的禁止用途详见Gemma禁止使用政策。

特定视觉语言任务的微调：

• 预训练模型可针对多种视觉语言任务进行微调，包括：图像描述生成、短视频字幕生成、视觉问答、文本阅读、目标检测与目标分割
• 预训练模型可针对特定领域微调，例如遥感问答、视障人士视觉问题解答、科学问答、UI元素功能描述
• 预训练模型可适配非文本输出任务，例如边界框标注或分割掩码生成

视觉语言研究：

• 预训练模型与微调模型可作为研究人员实验VLM技术、开发算法并推动领域进步的基础工具

伦理考量与风险

视觉语言模型（VLM）的发展引发多项伦理问题。在开发开放模型过程中，我们已审慎考虑以下方面：

• 偏见与公平性
  • 基于大规模真实世界图文数据训练的VLM可能反映训练材料中嵌入的社会文化偏见。这些模型经过严格审查，本文档阐述了输入数据预处理方法并报告了后续评估结果
• 错误信息与滥用
  • VLM可能被滥用于生成虚假、误导性或有害文本
  • 随模型提供了负责任使用指南，请参阅负责任生成式AI工具包
• 透明度与问责制
  • 本模型卡片详细说明了模型架构、能力、限制及评估流程
  • 通过负责任开发的开放模型，可促进创新共享，使AI生态中的开发者和研究人员都能使用VLM技术

已识别的风险与缓解措施：

• 偏见延续风险：鼓励在模型训练、微调及其他应用场景中实施持续监控（采用评估指标、人工审核）并探索去偏见技术
• 有害内容生成风险：内容安全机制与指南至关重要。建议开发者保持谨慎，根据具体产品政策和应用场景实施适当的内容安全防护措施
• 恶意用途滥用风险：技术限制与开发者及终端用户教育有助于缓解大语言模型的恶意应用。我们提供了用户举报滥用的教育资源与报告机制：详见负责任生成式AI工具包。Gemma模型的禁止用途概述于Gemma禁止使用政策
• 隐私侵犯风险：模型训练数据经过过滤以去除特定个人信息和敏感数据。鼓励开发者采用隐私保护技术遵守隐私法规

局限性

• 基础 Gemma 2 模型的大多数局限性仍然存在：
  • 视觉语言模型更擅长处理可通过清晰提示和指令框架化的任务。开放式或高度复杂的任务可能具有挑战性。
  • 自然语言本身具有复杂性。视觉语言模型可能难以把握细微差别、讽刺或比喻性语言。
  • 视觉语言模型根据其训练数据集学习到的信息生成响应，但它们并非知识库。可能生成不正确或过时的事实陈述。
  • 视觉语言模型依赖语言和图像中的统计模式。在某些情况下可能缺乏运用常识推理的能力。
• PaliGemma 2 的设计初衷是作为通用预训练模型，用于微调至 specialized 任务。因此，其"开箱即用"或"零样本"性能可能落后于专为通用目的设计的模型。
• PaliGemma 2 不是多轮对话机器人。其设计适用于单轮图像和文本输入。