barthez:可用于法语生成任务如抽象摘要等。是基于 BART 的法语序列到序列预训练模型，通过学习重建损坏输入句子进行预训练，使用66GB法语文本语料，编码器和解码器均经过预训练，还包含改进版mBARThez。【此简介由AI生成】

基于 BART 的法语序列到序列预训练模型。
BARThez 通过学习重建受损的输入句子进行预训练。预训练使用了 66GB 的法语原始文本语料库。
与现有的基于 BERT 的法语语言模型（如 CamemBERT 和 FlauBERT）不同，BARThez 特别适用于生成任务（如抽象摘要），因为其编码器和解码器均经过预训练。

除了从头开始预训练的 BARThez 之外，我们还对多语言 BART mBART 进行了持续预训练，这提升了其在判别任务和生成任务中的性能。我们将法语适配版本称为 mBARThez。

模型	架构	层数	参数数量
BARThez	BASE	12	165M
mBARThez	LARGE	24	458M

论文: https://arxiv.org/abs/2010.12321
GitHub: https://github.com/moussaKam/BARThez

@article{eddine2020barthez,
  title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv preprint arXiv:2010.12321},
  year={2020}
}

模型	架构	层数	参数数量
BARThez	BASE	12	165M
mBARThez	LARGE	24	458M

论文: https://arxiv.org/abs/2010.12321
GitHub: https://github.com/moussaKam/BARThez

@article{eddine2020barthez,
  title={BARThez: a Skilled Pretrained French Sequence-to-Sequence Model},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv preprint arXiv:2010.12321},
  year={2020}
}