ELECTRA 是一种用于自监督语言表示学习的新方法。它可用于以相对较少的计算资源预训练Transformer网络。ELECTRA模型被训练以区分“真实”输入标记与由另一个神经网络生成的“伪造”输入标记，这与GAN中的判别器类似。在小规模下，即使在单个GPU上训练，ELECTRA也能取得出色的结果。在大规模下，ELECTRA在SQuAD 2.0数据集上实现了最先进的结果。
有关详细描述和实验结果，请参阅我们的论文ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators。
本仓库包含预训练ELECTRA的代码，包括在单个GPU上训练小型ELECTRA模型。它还支持在下游任务上对ELECTRA进行微调，包括分类任务（例如，GLUE）、问答任务（例如，SQuAD）和序列标注任务（例如，文本分块）。
transformers中使用判别器from transformers import ElectraForPreTraining, ElectraTokenizerFast
import torch
discriminator = ElectraForPreTraining.from_pretrained("google/electra-large-discriminator")
tokenizer = ElectraTokenizerFast.from_pretrained("google/electra-large-discriminator")
sentence = "The quick brown fox jumps over the lazy dog"
fake_sentence = "The quick brown fox fake over the lazy dog"
fake_tokens = tokenizer.tokenize(fake_sentence)
fake_inputs = tokenizer.encode(fake_sentence, return_tensors="pt")
discriminator_outputs = discriminator(fake_inputs)
predictions = torch.round((torch.sign(discriminator_outputs[0]) + 1) / 2)
[print("%7s" % token, end="") for token in fake_tokens]
[print("%7s" % int(prediction), end="") for prediction in predictions.tolist()]