GPT-Neo 125M

模型说明

GPT-Neo 125M 是一个基于 EleutherAI 对 GPT-3 架构复现所设计的 transformer 模型。GPT-Neo 指的是这类模型的总称，而 125M 代表了该特定预训练模型的参数数量。

训练数据

GPT-Neo 125M 的训练数据来源于 Pile，这是一个由 EleutherAI 精心策划的大规模数据集，专门用于训练此类模型。

训练过程

该模型在 Pile 数据集上进行了训练，共处理了 3000 亿个 tokens，历经 572,300 步训练。它被训练为一个掩码自回归语言模型，采用交叉熵损失函数。

预期用途与局限性

通过这种方式，模型能够学习英语语言的内在表示，进而提取对下游任务有用的特征。不过，该模型在其预训练目标上表现最佳，即根据提示生成文本。

使用方法

您可以直接通过文本生成管道使用此模型。以下示例在每次运行时都会生成不同的序列：

from openmind import pipeline
import torch
if is_torch_npu_available():
    device = "npu:0"
elif torch.cuda.is_available():
    device = "cuda:0"
else:
    device = "cpu"
generator = pipeline('text-generation', model='SY_AICC/gpt-neo-125M', device=device)
generator("EleutherAI has", do_sample=True, min_length=20)

局限性与偏见

GPT-Neo 是作为自回归语言模型进行训练的。这意味着其核心功能是接收一段文本并预测下一个标记。尽管语言模型被广泛应用于此类任务之外的场景，但相关研究仍存在诸多未知因素。

GPT-Neo 是在 Pile 数据集上训练的，该数据集已知包含亵渎性、低俗及其他攻击性语言。根据具体使用场景，GPT-Neo 可能会生成不符合社会规范的文本。有关 Pile 数据集中偏见的更详细分析，请参见 Pile 论文的第 5 节和第 6 节。

与所有语言模型一样，很难预先预测 GPT-Neo 对特定提示的响应，且可能会在无预警的情况下出现冒犯性内容。我们建议在发布输出内容之前，由人工进行筛选或过滤，以审查不良内容并提升结果质量。

评估结果

待定

下游应用

待定

BibTeX 条目和引用信息

引用此模型时，请使用

@software{gpt-neo,

  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={The Pile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and others},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

[Open LLM 排行榜评估结果]

指标	数值
平均值	25.79
ARC (25-shot)	22.95
HellaSwag (10-shot)	30.26
MMLU (5-shot)	25.97
TruthfulQA (0-shot)	45.58
Winogrande (5-shot)	51.78
GSM8K (5-shot)	0.3
DROP (3-shot)	3.69

预期用途与局限性

使用方法

您可以直接通过文本生成管道使用此模型。以下示例在每次运行时都会生成不同的序列：

from openmind import pipeline
import torch
if is_torch_npu_available():
    device = "npu:0"
elif torch.cuda.is_available():
    device = "cuda:0"
else:
    device = "cpu"
generator = pipeline('text-generation', model='SY_AICC/gpt-neo-125M', device=device)
generator("EleutherAI has", do_sample=True, min_length=20)

局限性与偏见

评估结果

待定

下游应用

待定

BibTeX 条目和引用信息

引用此模型时，请使用

@software{gpt-neo,

  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={The Pile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and others},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

指标

数值

平均值

25.79

ARC (25-shot)

22.95

HellaSwag (10-shot)

30.26

MMLU (5-shot)

25.97

TruthfulQA (0-shot)

45.58

Winogrande (5-shot)

51.78

GSM8K (5-shot)

0.3

DROP (3-shot)

3.69