在原始 README 中增加了 CANN 版本依赖说明,并修改了示例代码。
Text-To-Text Transfer Transformer(T5)的开发者在文章中写道:
借助 T5,我们提议将所有 NLP 任务重构为统一的文本到文本格式,其中输入和输出始终是文本字符串,这与 BERT 风格的模型形成对比,后者只能输出类别标签或输入的一个片段。我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数。
T5-Small 是拥有 6000 万参数的检查点。
开发者在博客文章中指出,该模型:
我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数,包括机器翻译、文档摘要、问答以及分类任务(例如情感分析)。我们甚至可以将 T5 应用于回归任务,通过训练它预测数字的字符串表示而非数字本身。
需要更多信息。
需要更多信息。
需要更多信息。
该模型在 Colossal Clean Crawled Corpus (C4) 上进行预训练,该语料库是在与 T5 相同的 研究论文 背景下开发和发布的。
该模型在 无监督(1.)和有监督任务(2.)的多任务混合 上进行预训练。 因此,以下数据集分别用于(1.)和(2.):
模型开发者在其摘要中写道:
本文通过引入一个统一框架,将所有语言问题转换为文本到文本格式,从而探索了自然语言处理(NLP)迁移学习技术的全貌。我们的系统性研究在数十项语言理解任务上,对预训练目标、架构、无标签数据集、迁移方法及其他因素进行了比较。
所引入的框架,即T5框架,包含了一种训练流程,该流程整合了论文中研究的多种方法。更多细节请参见研究论文。
开发者在24项任务上对模型进行了评估,完整细节请参见研究论文。
关于t5_small的完整结果,请参见研究论文中的表14。
可使用Lacoste等人(2019)提出的机器学习影响计算器来估算碳排放。
BibTeX:
@article{2020t5,
author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
journal = {Journal of Machine Learning Research},
year = {2020},
volume = {21},
number = {140},
pages = {1-67},
url = {http://jmlr.org/papers/v21/20-074.html}
}APA格式:
本模型卡片由Hugging Face团队编写。
使用以下代码开始使用该模型。
from openmind import AutoTokenizer
from transformers import T5ForConditionalGeneration
device = "npu:0"
model_name = "PyTorch-NPU/t5_small"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name).to(device)
input_text = "translate English to German: Hugging Face is a technology company based in New York and Paris"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
print()
print("prompt:")
print(input_text)
outputs = model.generate(inputs, max_length=40, num_beams=4, early_stopping=True)
print("result:")
print(tokenizer.decode(outputs[0]))