ByT5 - Base
论文：ByT5: Towards a token-free future with pre-trained byte-to-byte models
作者：Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel
修改说明
在原始 README 中增加了 CANN 版本依赖说明，并修改了示例代码。
推理示例
from openmind import AutoTokenizer
from transformers import T5ForConditionalGeneration
device = "npu:0"
model_name = "PyTorch-NPU/byt5_base"
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
model = T5ForConditionalGeneration.from_pretrained(model_name).to(device)
model_inputs = tokenizer(["Life is like a box of chocolates.", "Today is Monday."], padding="longest",
return_tensors="pt").to(device)
labels_dict = tokenizer(["La vie est comme une boîte de chocolat.", "Aujourd'hui c'est lundi."], padding="longest",
return_tensors="pt").to(device)
labels = labels_dict.input_ids
loss = model(**model_inputs, labels=labels).loss
print()
print("loss:", loss.item())
摘要
大多数广泛使用的预训练语言模型都基于单词或子词单元对应的标记序列进行操作。将文本编码为标记序列需要一个标记器，该标记器通常作为独立于模型的组件创建。而直接对原始文本（字节或字符）进行操作的无标记模型具有诸多优势：它们可以开箱即用地处理任何语言的文本，对噪声的鲁棒性更强，并且通过去除复杂且易错的文本预处理流水线，最大限度地减少了技术债务。由于字节或字符序列比标记序列更长，以往关于无标记模型的研究通常会引入新的模型架构，以分摊直接对原始文本进行操作的成本。在本文中，我们表明，只需进行最小化修改，标准的Transformer架构即可用于处理字节序列。我们仔细分析了参数数量、训练FLOPs和推理速度方面的权衡，并证明字节级模型与标记级模型具有竞争力。我们还证明，字节级模型对噪声的鲁棒性显著增强，并且在对拼写和发音敏感的任务上表现更优。作为我们贡献的一部分，我们发布了一组基于T5架构的新型预训练字节级Transformer模型，以及我们实验中使用的所有代码和数据。
