DeBERTa 采用解耦注意力机制和增强型掩码解码器，对BERT和RoBERTa模型进行了改进。在80GB训练数据的支持下，它在大多数自然语言理解（NLU）任务上的表现均优于BERT和RoBERTa。
更多详细信息和更新，请查阅官方代码库。
我们展示了在SQuAD 1.1/2.0和MNLI任务上的开发集结果。
| 模型 | SQuAD 1.1 | SQuAD 2.0 | MNLI-m |
|---|---|---|---|
| RoBERTa-base | 91.5/84.6 | 83.7/80.5 | 87.6 |
| XLNet-Large | -/- | -/80.2 | 86.8 |
| DeBERTa-base | 93.1/87.2 | 86.2/83.1 | 88.8 |
如果您发现DeBERTa对您的工作有所帮助，请引用以下论文：
@inproceedings{
he2021deberta,
title={DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION},
author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=XPZIaotutsD}
}