BERT 微型模型

这里是 24 个 BERT 模型的集合，相关参考见于论文《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》（仅英语，不区分大小写，使用 WordPiece 掩码训练）。

我们已证明，标准的 BERT 方案（包括模型架构和训练目标）在除 BERT-Base 和 BERT-Large 之外的多种模型规模上均有效。较小的 BERT 模型旨在用于计算资源受限的环境。它们可以采用与原始 BERT 模型相同的方式进行微调。不过，在知识蒸馏场景下，它们能发挥最大效用——此时微调标签由更大、更精确的教师模型生成。

我们的目标是为计算资源较少的机构开展研究提供支持，并鼓励社区探索除增加模型容量之外的创新方向。

您可以通过 BERT 官方 Github 页面 或下方 HuggingFace 链接下载这 24 个 BERT 微型模型：

请注意，本版本中包含的 BERT-Base 模型仅为完整性考虑；它是在与原始模型相同的训练机制下重新训练的。

以下是在测试集上相应的 GLUE 分数：

对于每个任务，我们从以下列表中选择最佳的微调超参数，并训练 4 个 epoch：

• 批大小：8、16、32、64、128
• 学习率：3e-4、1e-4、5e-5、3e-5

如果您使用这些模型，请引用以下论文：

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}