基于英语语言的预训练模型，采用掩码语言建模（MLM）和下一句预测（NSP）目标。该模型在此论文中被提出，并首次在此仓库发布。

此模型区分大小写：它对“english”和“English”进行区分。该模型在MLM目标上达到0.58的准确率，在NSP目标上达到0.80的准确率。