在原始 README 中增加了 CANN 版本依赖说明,并修改了示例代码。
Text-To-Text Transfer Transformer(T5)的开发者在文章中写道:
借助 T5,我们建议将所有 NLP 任务重构为统一的文本到文本格式,其中输入和输出始终是文本字符串,这与 BERT 风格的模型形成对比,后者只能输出类别标签或输入的一个片段。我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数。
T5-Base 是拥有 2.2 亿参数的检查点。
开发者在博客文章中写道,该模型:
我们的文本到文本框架允许我们在任何 NLP 任务上使用相同的模型、损失函数和超参数,包括机器翻译、文档摘要、问答以及分类任务(例如情感分析)。我们甚至可以将 T5 应用于回归任务,通过训练它预测数字的字符串表示而非数字本身。
需要更多信息。
需要更多信息。
需要更多信息。
该模型在无监督任务(1.)和有监督任务(2.)的多任务混合数据上进行预训练。 用于(1.)和(2.)的数据集如下:
模型开发者在其摘要中写道:
在本文中,我们通过引入一个将所有语言问题转换为文本到文本格式的统一框架,探索了自然语言处理(NLP)迁移学习技术的前景。我们的系统性研究在数十项语言理解任务上比较了预训练目标、架构、无标签数据集、迁移方法以及其他因素。
所引入的框架,即T5框架,包含了论文中研究的各种方法相结合的训练过程。有关更多详细信息,请参见研究论文。
开发者在24项任务上对模型进行了评估,完整详情请参见研究论文。
T5-Base的完整结果,请参见研究论文中的表14。
可使用Lacoste等人(2019)提出的机器学习影响计算器来估算碳排放量。
BibTeX格式:
@article{2020t5,
author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
journal = {Journal of Machine Learning Research},
year = {2020},
volume = {21},
number = {140},
pages = {1-67},
url = {http://jmlr.org/papers/v21/20-074.html}
}APA:
本模型卡片由Hugging Face团队撰写。
使用以下代码开始使用模型。
from openmind import AutoTokenizer
from transformers import T5ForConditionalGeneration
device = "npu:0"
model_name = "PyTorch-NPU/t5_base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name).to(device)
input_text = "translate English to German: Hugging Face is a technology company based in New York and Paris"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
print()
print("prompt:")
print(input_text)
outputs = model.generate(inputs, max_length=40, num_beams=4, early_stopping=True)
print("result:")
print(tokenizer.decode(outputs[0]))