flan-t5-large:可用于翻译、问答、逻辑推理等多语言文本生成任务。该项目是开源语言模型，支持多语言处理，具备零样本和少样本学习能力，适用于NLP研究及相关应用开发。【此简介由AI生成】 - AtomGit AI社区

摘要

如果您已了解 T5，那么 FLAN-T5 在各方面都更胜一筹。在参数数量相同的情况下，这些模型在 1000 多个额外任务上进行了微调，涵盖的语言也更多。

正如摘要开头几行所述：

Flan-PaLM 540B 在多个基准测试中取得了最先进的性能，例如在五样本 MMLU 上达到 75.2%。我们还公开发布了 Flan-T5 检查点，1 即使与更大规模的模型（如 PaLM 62B）相比，也实现了强大的少样本性能。总体而言，指令微调是一种提高预训练语言模型性能和可用性的通用方法。

模型详情

模型描述

模型类型： 语言模型
语言（自然语言处理）： 英语、西班牙语、日语、波斯语、印地语、法语、中文、孟加拉语、古吉拉特语、德语、泰卢固语、意大利语、阿拉伯语、波兰语、泰米尔语、马拉地语、马拉雅拉姆语、奥里亚语、旁遮普语、葡萄牙语、乌尔都语、加利西亚语、希伯来语、韩语、加泰罗尼亚语、泰语、荷兰语、印度尼西亚语、越南语、保加利亚语、菲律宾语、高棉语、老挝语、土耳其语、俄语、克罗地亚语、瑞典语、约鲁巴语、库尔德语、缅甸语、马来语、捷克语、芬兰语、索马里语、他加禄语、斯瓦希里语、僧伽罗语、卡纳达语、壮语、伊博语、科萨语、罗马尼亚语、海地语、爱沙尼亚语、斯洛伐克语、立陶宛语、希腊语、尼泊尔语、阿萨姆语、挪威语
许可证： Apache 2.0
相关模型： 所有 FLAN-T5 检查点
原始检查点： 所有原始 FLAN-T5 检查点
更多信息资源：
- 研究论文
- GitHub 仓库

使用方法

以下是一些关于如何在 transformers 中使用该模型的示例脚本：

使用 PyTorch 模型

在 NPU 上运行模型

点击展开

from openmind import AutoTokenizer, is_torch_npu_available
from transformers import T5ForConditionalGeneration
import torch

import argparse
import time

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default="JiangSuAscend/flan-t5-small",
    )
    args = parser.parse_args()
    return args

def main():
    args = parse_args()
    model_path = args.model_name_or_path

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"

    # 加载分词器和模型
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = T5ForConditionalGeneration.from_pretrained(model_path, trust_remote_code=True).to(device)
                                              
    input_text = "A step by step recipe to make bolognese pasta:"
    inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
    print()
    print("prompt:")
    print(input_text)
    outputs = model.generate(**inputs)
    print("result:")
    print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

if __name__ == "__main__":
    main()

用途

直接用途和下游用途

作者在原始论文的模型卡片中写道：

主要用途是语言模型研究，包括：零样本自然语言处理任务和上下文少样本学习自然语言处理任务的研究，例如推理和问答；推进公平性和安全性研究，以及理解当前大型语言模型的局限性。

有关更多详细信息，请参见研究论文。

超出范围的用途

需要更多信息。

偏见、风险和局限性

本节以下信息复制自该模型的官方模型卡片：

Rae等人（2021）指出，包括Flan-T5在内的语言模型有可能以有害方式用于语言生成。在未针对特定应用的安全性和公平性问题进行事先评估的情况下，Flan-T5不应直接用于任何应用。

伦理考量和风险

Flan-T5是在大量文本数据语料库上进行微调的，这些数据未经过显式内容过滤或现有偏见评估。因此，模型本身可能容易生成同等不适当的内容或复制基础数据中固有的偏见。

已知局限性

Flan-T5尚未在实际应用中进行测试。

敏感用途：

Flan-T5不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

训练过程

根据原始论文中的模型卡片：

这些模型基于预训练的T5（Raffel等人，2020），并通过指令进行微调，以获得更好的零样本和少样本性能。每种T5模型大小对应一个经过微调的Flan模型。

该模型已在TPU v3或TPU v4 pods上进行训练，使用t5x代码库以及jax。

评估

测试数据、因素与指标

有关详细信息，请查阅研究论文。

结果

FLAN-T5-Large的完整结果，请参见研究论文表3。

环境影响

可使用Lacoste等人（2019）提出的机器学习影响计算器来估算碳排放量。

硬件类型： Google Cloud TPU Pods - TPU v3 或 TPU v4 | 芯片数量 ≥ 4。
使用时长： 需更多信息
云服务提供商： GCP
计算区域： 需更多信息
碳排放： 需更多信息

引用

BibTeX格式：

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

摘要

如果您已了解 T5，那么 FLAN-T5 在各方面都更胜一筹。在参数数量相同的情况下，这些模型在 1000 多个额外任务上进行了微调，涵盖的语言也更多。

正如摘要开头几行所述：

Flan-PaLM 540B 在多个基准测试中取得了最先进的性能，例如在五样本 MMLU 上达到 75.2%。我们还公开发布了 Flan-T5 检查点，1 即使与更大规模的模型（如 PaLM 62B）相比，也实现了强大的少样本性能。总体而言，指令微调是一种提高预训练语言模型性能和可用性的通用方法。

模型详情

模型描述

模型类型： 语言模型
语言（自然语言处理）： 英语、西班牙语、日语、波斯语、印地语、法语、中文、孟加拉语、古吉拉特语、德语、泰卢固语、意大利语、阿拉伯语、波兰语、泰米尔语、马拉地语、马拉雅拉姆语、奥里亚语、旁遮普语、葡萄牙语、乌尔都语、加利西亚语、希伯来语、韩语、加泰罗尼亚语、泰语、荷兰语、印度尼西亚语、越南语、保加利亚语、菲律宾语、高棉语、老挝语、土耳其语、俄语、克罗地亚语、瑞典语、约鲁巴语、库尔德语、缅甸语、马来语、捷克语、芬兰语、索马里语、他加禄语、斯瓦希里语、僧伽罗语、卡纳达语、壮语、伊博语、科萨语、罗马尼亚语、海地语、爱沙尼亚语、斯洛伐克语、立陶宛语、希腊语、尼泊尔语、阿萨姆语、挪威语
许可证： Apache 2.0
相关模型： 所有 FLAN-T5 检查点
原始检查点： 所有原始 FLAN-T5 检查点
更多信息资源：
- 研究论文
- GitHub 仓库

使用方法

以下是一些关于如何在 transformers 中使用该模型的示例脚本：

使用 PyTorch 模型

在 NPU 上运行模型

点击展开

from openmind import AutoTokenizer, is_torch_npu_available
from transformers import T5ForConditionalGeneration
import torch

import argparse
import time

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default="JiangSuAscend/flan-t5-small",
    )
    args = parser.parse_args()
    return args

def main():
    args = parse_args()
    model_path = args.model_name_or_path

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"

    # 加载分词器和模型
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = T5ForConditionalGeneration.from_pretrained(model_path, trust_remote_code=True).to(device)
                                              
    input_text = "A step by step recipe to make bolognese pasta:"
    inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
    print()
    print("prompt:")
    print(input_text)
    outputs = model.generate(**inputs)
    print("result:")
    print(tokenizer.batch_decode(outputs, skip_special_tokens=True))

if __name__ == "__main__":
    main()

用途

直接用途和下游用途

作者在原始论文的模型卡片中写道：

主要用途是语言模型研究，包括：零样本自然语言处理任务和上下文少样本学习自然语言处理任务的研究，例如推理和问答；推进公平性和安全性研究，以及理解当前大型语言模型的局限性。

有关更多详细信息，请参见研究论文。

超出范围的用途

需要更多信息。

偏见、风险和局限性

本节以下信息复制自该模型的官方模型卡片：

Rae等人（2021）指出，包括Flan-T5在内的语言模型有可能以有害方式用于语言生成。在未针对特定应用的安全性和公平性问题进行事先评估的情况下，Flan-T5不应直接用于任何应用。

伦理考量和风险

Flan-T5是在大量文本数据语料库上进行微调的，这些数据未经过显式内容过滤或现有偏见评估。因此，模型本身可能容易生成同等不适当的内容或复制基础数据中固有的偏见。

已知局限性

Flan-T5尚未在实际应用中进行测试。

敏感用途：

Flan-T5不应应用于任何不可接受的用例，例如生成辱骂性言论。

训练详情

训练过程

根据原始论文中的模型卡片：

这些模型基于预训练的T5（Raffel等人，2020），并通过指令进行微调，以获得更好的零样本和少样本性能。每种T5模型大小对应一个经过微调的Flan模型。

该模型已在TPU v3或TPU v4 pods上进行训练，使用t5x代码库以及jax。

评估

测试数据、因素与指标

有关详细信息，请查阅研究论文。

结果

FLAN-T5-Large的完整结果，请参见研究论文表3。

环境影响

可使用Lacoste等人（2019）提出的机器学习影响计算器来估算碳排放量。

硬件类型： Google Cloud TPU Pods - TPU v3 或 TPU v4 | 芯片数量 ≥ 4。
使用时长： 需更多信息
云服务提供商： GCP
计算区域： 需更多信息
碳排放： 需更多信息

引用

BibTeX格式：

@misc{https://doi.org/10.48550/arxiv.2210.11416,
  doi = {10.48550/ARXIV.2210.11416},
  
  url = {https://arxiv.org/abs/2210.11416},
  
  author = {Chung, Hyung Won and Hou, Le and Longpre, Shayne and Zoph, Barret and Tay, Yi and Fedus, William and Li, Eric and Wang, Xuezhi and Dehghani, Mostafa and Brahma, Siddhartha and Webson, Albert and Gu, Shixiang Shane and Dai, Zhuyun and Suzgun, Mirac and Chen, Xinyun and Chowdhery, Aakanksha and Narang, Sharan and Mishra, Gaurav and Yu, Adams and Zhao, Vincent and Huang, Yanping and Dai, Andrew and Yu, Hongkun and Petrov, Slav and Chi, Ed H. and Dean, Jeff and Devlin, Jacob and Roberts, Adam and Zhou, Denny and Le, Quoc V. and Wei, Jason},
  
  keywords = {Machine Learning (cs.LG), Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
  
  title = {Scaling Instruction-Finetuned Language Models},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {Creative Commons Attribution 4.0 International}
}

目录

摘要

模型详情

模型描述

使用方法

使用 PyTorch 模型

在 NPU 上运行模型

用途

直接用途和下游用途

超出范围的用途

偏见、风险和局限性

伦理考量和风险

已知局限性

敏感用途：

训练详情

训练过程

评估

测试数据、因素与指标

结果

环境影响

引用

目录

摘要

模型详情

模型描述

使用方法

使用 PyTorch 模型

在 NPU 上运行模型

用途

直接用途和下游用途

超出范围的用途

偏见、风险和局限性

伦理考量和风险

已知局限性

敏感用途：

训练详情

训练过程

评估

测试数据、因素与指标

结果

环境影响

引用