HuggingFace镜像/t5-small
模型介绍文件和版本分析
下载使用量0

T5 Small 模型卡片

model image

目录

  1. 模型详情
  2. 用途
  3. 偏见、风险与局限性
  4. 训练详情
  5. 评估
  6. 环境影响
  7. 引用
  8. 模型卡片作者
  9. 如何开始使用模型

模型详情

模型描述

文本到文本迁移转换器（T5）的开发者在文章中写道：

通过 T5，我们建议将所有自然语言处理任务重构为统一的文本到文本格式，其中输入和输出始终是文本字符串，这与 BERT 风格的模型形成对比，后者只能输出类别标签或输入的一个片段。我们的文本到文本框架使我们能够在任何自然语言处理任务上使用相同的模型、损失函数和超参数。

T5-Small 是具有 6000 万参数的检查点。

  • 开发者： Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu。参见相关论文和GitHub 仓库
  • 模型类型： 语言模型
  • 语言（自然语言处理）： 英语、法语、罗马尼亚语、德语
  • 许可证： Apache 2.0
  • 相关模型： 所有 T5 检查点
  • 更多信息资源：
    • 研究论文
    • Google 的 T5 博客文章
    • GitHub 仓库
    • Hugging Face T5 文档

用途

直接用途与下游用途

开发者在一篇博客文章中写道，该模型：

我们的文本到文本框架允许我们在任何自然语言处理任务上使用相同的模型、损失函数和超参数，包括机器翻译、文档摘要、问答以及分类任务（例如情感分析）。我们甚至可以将T5应用于回归任务，通过训练它预测数字的字符串表示形式而非数字本身。

有关更多详细信息，请参见博客文章和研究论文。

超出范围的用途

需要更多信息。

偏见、风险和局限性

需要更多信息。

建议

需要更多信息。

训练详情

训练数据

该模型在Colossal Clean Crawled Corpus (C4)上进行预训练，该语料库是在与T5相同的研究论文背景下开发和发布的。

该模型在无监督（1.）和有监督任务（2.）的多任务混合数据上进行预训练。 因此，以下数据集分别用于（1.）和（2.）：

  1. 用于无监督去噪目标的数据集：
  • C4
  • Wiki-DPR
  1. 用于有监督文本到文本语言建模目标的数据集
  • 句子可接受性判断
    • CoLA Warstadt et al., 2018
  • 情感分析
    • SST-2 Socher et al., 2013
  • 释义/句子相似度
    • MRPC Dolan and Brockett, 2005
    • STS-B Cer et al., 2017
    • QQP Iyer et al., 2017
  • 自然语言推理
    • MNLI Williams et al., 2017
    • QNLI Rajpurkar et al., 2016
    • RTE Dagan et al., 2005
    • CB De Marneffe et al., 2019
  • 句子补全
    • COPA Roemmele et al., 2011
  • 词义消歧
    • WIC Pilehvar and Camacho-Collados, 2018
  • 问答
    • MultiRC Khashabi et al., 2018
    • ReCoRD Zhang et al., 2018
    • BoolQ Clark et al., 2019

训练流程

模型开发者在其摘要中写道：

在本文中，我们通过引入一个统一框架来探索自然语言处理（NLP）迁移学习技术的全景，该框架将所有语言问题都转化为文本到文本的格式。我们的系统性研究在数十项语言理解任务上，对预训练目标、架构、无标签数据集、迁移方法及其他因素进行了比较。

所引入的框架，即T5框架，包含一个整合了论文中所研究方法的训练流程。更多详情请参见研究论文。

评估

测试数据、因素与指标

开发者在24项任务上对模型进行了评估，完整详情请参见研究论文。

结果

关于T5-small的完整结果，请参见研究论文的表14。

环境影响

碳排放可使用机器学习影响计算器进行估算，该计算器在Lacoste et al. (2019)中提出。

  • 硬件类型： Google Cloud TPU Pods
  • 使用时长： 需要更多信息
  • 云服务提供商： GCP
  • 计算区域： 需要更多信息
  • 碳排放量： 需要更多信息

引用

BibTeX：

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA格式：

  • Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

模型卡片作者

本模型卡片由Hugging Face团队撰写。

如何开始使用模型

使用以下代码开始使用模型。

点击展开 
from transformers import T5Tokenizer, T5Model

tokenizer = T5Tokenizer.from_pretrained("t5-small")
model = T5Model.from_pretrained("t5-small")

input_ids = tokenizer(
    "Studies have been shown that owning a dog is good for you", return_tensors="pt"
).input_ids  # Batch size 1
decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids  # Batch size 1

# forward pass
outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
last_hidden_states = outputs.last_hidden_state

有关更多示例，请参阅 Hugging Face T5 文档以及模型开发者创建的 Colab Notebook。