deberta-v3-large 用于抽取式问答

这是 deberta-v3-large 模型，使用 SQuAD2.0 数据集进行了微调。它已在包含不可回答问题在内的问答对上完成训练，适用于抽取式问答任务。

概述

语言模型： deberta-v3-large
语言： 英语
下游任务： 抽取式问答
训练数据： SQuAD 2.0
评估数据： SQuAD 2.0
代码： 参见使用 Haystack 构建的抽取式问答管道示例
基础设施： 1x NVIDIA A10G

超参数

batch_size = 2
grad_acc_steps = 32
n_epochs = 6
base_LM_model = "microsoft/deberta-v3-large"
max_seq_len = 512
learning_rate = 7e-6
lr_schedule = LinearWarmup
warmup_proportion = 0.2
doc_stride=128
max_query_length=64

使用方法

在 Haystack 中

Haystack 是一个 AI 编排框架，用于构建可定制、生产级的 LLM 应用。您可以在 Haystack 中使用此模型对文档进行抽取式问答。

要使用 Haystack 加载并运行模型：

# After running pip install haystack-ai "transformers[torch,sentencepiece]"

from haystack import Document
from haystack.components.readers import ExtractiveReader

docs = [
    Document(content="Python is a popular programming language"),
    Document(content="python ist eine beliebte Programmiersprache"),
]

reader = ExtractiveReader(model="deepset/deberta-v3-large-squad2")
reader.warm_up()

question = "What is a popular programming language?"
result = reader.run(query=question, documents=docs)
# {'answers': [ExtractedAnswer(query='What is a popular programming language?', score=0.5740374326705933, data='python', document=Document(id=..., content: '...'), context=None, document_offset=ExtractedAnswer.Span(start=0, end=6),...)]}

如需查看包含可扩展至多篇文档的抽取式问答管道完整示例，请参阅相应的 Haystack 教程。

在 Transformers 中

import argparse

import torch
from openmind import pipeline, is_torch_npu_available
from openmind_hub import snapshot_download
import time

def parse_args():
    parser = argparse.ArgumentParser(description="Eval the model")
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to the model",
       default="zhouhui/deberta-v3-large-squad2",
        )
    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    model_path = args.model_name_or_path
    if is_torch_npu_available():
        device = "npu:0"
    elif torch.cuda.is_available():
        device = "cuda:0"
    else:
        device = "cpu"
    #device = "cpu"
    start_time = time.time()
    qa = pipeline("question-answering", model=model_path, tokenizer=model_path, device=device)
    qa_input = {
            "question": "Why is model conversion important?",
            "context": "The option on convert models between FARM and openmind gives freedom to the user and let people easily switch between frameworks."
    }
    ans = qa(qa_input)
    print()
    print(ans)
    print()
    end_time = time.time()
    print(f"硬件环境：{device},推理执行时间：{end_time - start_time}秒")


if __name__ == "__main__":
    main()

性能

使用官方评估脚本在SQuAD 2.0开发集上进行评估。

"exact": 87.6105449338836,
"f1": 90.75307008866517,

"total": 11873,
"HasAns_exact": 84.37921727395411,
"HasAns_f1": 90.6732795483674,
"HasAns_total": 5928,
"NoAns_exact": 90.83263246425568,
"NoAns_f1": 90.83263246425568,
"NoAns_total": 5945

关于我们

deepset 是生产级开源 AI 框架 Haystack 的开发公司。

我们的其他部分成果包括：

联系我们并加入 Haystack 社区

如需了解更多关于 Haystack 的信息，请访问我们的 GitHub 代码库和文档。

我们还设有一个 面向所有人开放的 Discord 社区！

顺便说一下：我们正在招聘！

batch_size = 2 grad_acc_steps = 32 n_epochs = 6 base_LM_model = "microsoft/deberta-v3-large" max_seq_len = 512 learning_rate = 7e-6 lr_schedule = LinearWarmup warmup_proportion = 0.2 doc_stride=128 max_query_length=64