这是多模态模型LayoutLM的一个微调版本,适用于发票及其他文档的问答任务。它在专有发票数据集以及用于一般理解的SQuAD2.0和DocVQA数据集上进行了微调。
与其他只能提取连续 tokens 的 QA 模型不同(因为它们预测序列的起始和结束位置),该模型通过额外的分类头能够预测更长范围的非连续序列。例如,QA 模型经常遇到以下失效情况:
然而,此模型能够预测非连续 tokens,从而正确识别地址:
使用此模型的最佳方式是通过DocQuery。
该模型由Impira团队创建。