BLOOM LM

开发机构： BigScience

• 所有协作者均为志愿者，或已与其雇主达成协议。（参与者的进一步细分信息即将公布。）

模型类型： 基于Transformer的语言模型

版本： 1.0.0

支持语言： 多种；详见训练数据

许可证： RAIL License v1.0（链接）

预计发布日期： 2022年7月11日（星期一）

问题反馈邮箱： bigscience-contact@googlegroups.com

引用格式： BigScience, BigScience Language Open-science Open-access Multilingual (BLOOM) Language Model. International, May 2021-May 2022

资金来源：

• 法国政府。

• Hugging Face。

• 贡献者所在组织。（组织的进一步细分信息即将公布。）

有关复现训练的完整详细信息，请参见BLOOM训练 README。

模型架构： 基于Megatron-LM GPT2修改（详见论文、BLOOM Megatron代码）：

• 仅解码器架构

• 对词嵌入层应用层归一化（StableEmbedding；详见代码、论文）

• ALiBI位置编码（详见论文），使用GeLU激活函数

• 3,002,557,440个参数：

  • 642,252,800个嵌入参数

  • 30层，32个注意力头

  • 隐藏层维度为2560

  • 使用的序列长度为2048个token（详见BLOOM分词器、分词器说明）

目标函数： 带均值归约的交叉熵（详见API文档）。

计算基础设施： Jean Zay公共超级计算机，由法国政府提供（详见公告）。

• 硬件：384块A100 80GB GPU（48个节点）：

  • 额外32块A100 80GB GPU（4个节点）作为备用

  • 每个节点8块GPU，采用NVLink 4 GPU间连接，4条OmniPath链路

  • CPU：AMD

  • 每个节点CPU内存：512GB

  • 每个节点GPU内存：640GB

  • 节点间连接：Omni-Path Architecture (OPA)

  • NCCL通信网络：完全专用的子网

  • 磁盘IO网络：与其他类型节点共享的网络

• 软件：

  • Megatron-DeepSpeed（Github链接）

  • DeepSpeed（Github链接）

  • PyTorch（pytorch-1.11搭配CUDA-11.5；详见Github链接）

  • apex（Github链接）

训练

• 训练轮次：1（当前目标）

• 日期：

  • 开始时间：2022年3月11日上午11:42（太平洋标准时间）

  • 结束时间：2022年7月5日

• 预计训练成本：相当于200万至500万美元的云计算费用（包括初步实验）

• 服务器训练地点：法国法兰西岛大区

分词

BLOOM分词器（链接）是一个经过训练的子词分词器，其训练方式如下：

• 字节级别的字节对编码（BPE）算法

• 简单的预分词规则，无归一化处理

• 词汇表大小为250,680

它是在语料库初步版本的一个子集上进行训练的，并对每种语言采用alpha加权。

用于训练的超级计算机 Jean Zay（网站）主要使用核能。其产生的热量被回收用于校园住房供暖。

预计碳排放： （训练完成后公布。）

预计电力使用量： （训练完成后公布。）

预期用途

创建此模型旨在支持大型语言模型（LLMs）的公共研究。LLMs 旨在用于语言生成，或作为可进一步针对特定任务进行微调的预训练基础模型。以下用例并非详尽无遗。

直接用途

• 文本生成

• 探索语言模型生成文本的特征

  • 示例：完形填空测试、反事实推理、通过重新表述进行生成

下游用途

• 利用语言模型的任务包括：信息提取、问答、文本摘要

滥用和超出范围的用途

本节说明用户不应将模型用于哪些方面。

有关详细的使用限制，请参见 BLOOM 许可协议 附件 A。以下列表并非详尽无遗，但列出了一些易于预见的有问题的用例。

超出范围的用途

将本模型用于高风险场景超出了本模型的使用范围。该模型并非为关键决策或对个人生计或福祉有任何重大影响的用途而设计。模型输出的内容可能看似真实，但实则并不准确。

超出范围的用途包括：

• 在生物医学领域、政治和法律领域或金融领域的使用

• 用于评估或评分个人，例如用于就业、教育或信贷评估

• 将模型应用于关键自动决策、生成事实性内容、创建可靠摘要或生成必须准确的预测

滥用

故意将模型用于造成伤害、侵犯人权或其他恶意活动，均属于对本模型的滥用。这包括：

• 生成垃圾信息

• 虚假信息和影响操作

• 贬低和诽谤

• 骚扰和虐待

• 欺骗

• 未经同意的冒充和模仿

• 未经同意的监视

• 未按 RAIL 许可协议（使用限制） 的规定对模型生成的内容进行归属标注

目标用户

直接用户

• 普通大众

• 研究人员

• 学生

• 教育工作者

• 工程师/开发人员

• 非商业实体

• 社区倡导者，包括人权和公民权利组织

间接用户

• 直接用户创建的衍生产品的使用者，例如使用具有预期用途的软件的用户

• 许可中描述的模型衍生产品的用户

其他受影响方（利益相关者）

• 大语言模型（LLM）所提及的个人和群体

• 接触到大语言模型（LLM）输出或基于其做出的决策的个人和群体

• 其原创作品被纳入大语言模型（LLM）的个人和群体

每个数据集的详细信息在各个[数据卡片]中提供。

训练数据包括：

• 45种自然语言

• 12种编程语言

• 1.5TB预处理文本，转换为3500亿个独特标记（更多信息见标记器部分）。

语言

饼图显示了训练数据中语言的分布情况。

下表进一步展示了尼日尔-刚果语系和印度语系语言在训练数据中的分布。

下表显示了编程语言的分布情况。

模型可能会：

• 过度呈现某些观点，而对其他观点呈现不足

• 包含刻板印象

• 包含个人信息

• 生成以下内容：

  • 仇恨、辱骂或暴力语言

  • 歧视性或偏见性语言

  • 可能不适用于所有场景的内容，包括性内容

• 出现错误，包括将不正确的信息当作事实输出

• 生成不相关或重复的输出

指标

本节描述计算性能的不同方式及其原因。

包括：

以及针对特定任务的多种不同指标。（更多评估指标将在评估协议完成后推出。）

影响因素

本节列出BLOOM模型的一些不同方面。重点关注可能导致模型行为出现高方差的方面。

• 语言，例如英语或约鲁巴语

• 领域，例如新闻专线或故事

• 人口统计特征，例如性别或国籍

结果

结果基于影响因素和指标。

零样本评估：

JSON文件请参见此仓库：https://github.com/bigscience-workshop/evaluation-results

训练时评估：

截至2022年5月25日，太平洋标准时间15:00：

• 训练损失：2.0

• 验证损失：2.2

• 困惑度：8.9

• 应让间接用户知晓其处理的内容是由LLM生成的。

• 用户应了解风险与局限性，并在必要时添加适当的年龄免责声明或设置访问限制界面。

• 使用该LLM预训练的模型应包含更新后的模型卡片（Model Card）。

• 模型用户应提供让受影响者反馈的渠道，例如用于接收意见的电子邮箱。

• 损失（Loss）： 用于计算模型已学习内容与数据所示内容（“真实值”）之间的差异。损失值越低越好。训练过程旨在最小化损失。

• 困惑度（Perplexity）： 基于模型对新数据出现概率的估计。困惑度越低越好。如果模型能100%准确预测下一个将要出现的标记，那么困惑度为1。其数学计算基于熵值。

• 高风险场景： 例如欧盟拟议的《人工智能法案》（Artificial Intelligence (AI) Act）中定义的“高风险AI系统”和“不可接受风险AI系统”。

• 关键决策： 例如美国拟议的《算法问责法案》（the United States' proposed Algorithmic Accountability Act）中定义的决策。

• 人权： 包括《世界人权宣言》（Universal Declaration of Human Rights）中定义的各项权利。

• 个人数据与个人信息： 个人数据和个人信息在多项数据保护法规中均有定义，例如欧盟《通用数据保护条例》（European Union's General Data Protection Regulation）中的“个人数据”；南非共和国《个人信息保护法》（Protection of Personal Information Act）、中华人民共和国《个人信息保护法》（Personal information protection law）中的“个人信息”。

• 敏感特征： 包括人权（参见《世界人权宣言》第2条，UHDR, Article 2）和个人信息法规（参见《通用数据保护条例》第9条；《个人信息保护法》第一章，Article 9; Protection of Personal Information Act, Chapter 1）中特别保护的类别。

• 欺骗： 故意误导他人相信虚假事物的行为，例如在社交媒体上创建冒充真人的僵尸账号或聊天机器人，或生成文本文件却不告知消费者该文本为机器生成。

数据集创建

详细介绍数据集创建过程中设计选择的博客文章

技术规格

总结架构、规模、形状和预训练时长选择方式的博客文章

有关架构/优化器的更多详情：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml

关于硬件/工程方面的博客文章

训练所用分布式设置的详情：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml

训练期间更新的Tensorboard

关于训练方法和负面结果的见解：https://github.com/bigscience-workshop/bigscience/blob/master/train/lessons-learned.md

工程准备阶段克服的障碍详情（不稳定性、训练吞吐量优化、众多技术技巧和问题）：https://github.com/bigscience-workshop/bigscience/blob/master/train/tr11-176B-ml/chronicles.md

初步结果

使用中期检查点进行的初始提示实验