用于抽取式问答的gelectra-base蒸馏模型

概述

语言模型： gelectra-base-germanquad-distilled
语言： 德语
训练数据： GermanQuAD训练集（约12MB）
评估数据： GermanQuAD测试集（约5MB）
发布时间： 2021年4月21日

详情

我们以gelectra-base模型为基础，训练了一个德语问答模型。
训练数据集为单向标注，包含11518个问题和11518个答案；测试数据集为三向标注，包含2204个问题以及2204×3−76=6536个答案（我们已移除76个错误答案）。
除了GermanQuAD中的标注数据外，训练过程还使用了haystack的蒸馏功能。deepset/gelectra-large-germanquad被用作教师模型。

超参数

batch_size = 24
n_epochs = 6
max_seq_len = 384
learning_rate = 3e-5
lr_schedule = LinearWarmup
embeds_dropout_prob = 0.1
temperature = 2
distillation_loss_weight = 0.75

使用方法

在 Haystack 中

Haystack 是一个 AI 编排框架，用于构建可定制、生产级的 LLM 应用程序。您可以在 Haystack 中使用此模型对文档进行抽取式问答。

# After running pip install haystack-ai "transformers[torch,sentencepiece]"

from haystack import Document
from haystack.components.readers import ExtractiveReader

docs = [
    Document(content="Python is a popular programming language"),
    Document(content="python ist eine beliebte Programmiersprache"),
]

reader = ExtractiveReader(model="deepset/gelectra-base-germanquad-distilled")
reader.warm_up()

question = "What is a popular programming language?"
result = reader.run(query=question, documents=docs)
# {'answers': [ExtractedAnswer(query='What is a popular programming language?', score=0.5740374326705933, data='python', document=Document(id=..., content: '...'), context=None, document_offset=ExtractedAnswer.Span(start=0, end=6),...)]}

在 Transformers 中

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline
import torch
import torch_npu
import argparse
import os
from openmind_hub import snapshot_download

# 设置环境变量
os.environ['DEFAULT_DOWNLOAD_TIMEOUT'] = "600"
os.environ['DEFAULT_REQUEST_TIMEOUT'] = "600"

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Jinan_AICC/gelectra-base-germanquad-distilled",
        default=None,
    )
    args = parser.parse_args()
    return args

args = parse_args()

if args.model_name_or_path:
    model_path = args.model_name_or_path
else:
    model_path = snapshot_download(
        "Jinan_AICC/gelectra-base-germanquad-distilled",
        revision="main",
        ignore_patterns=["*.h5", "*.ot", "*.msgpack"],       
    )

# a) Get predictions
nlp = pipeline('question-answering', model=model_path, tokenizer=model_path)
QA_input = {
    'question': 'Why is model conversion important?',
    'context': 'The option to convert models between FARM and transformers gives freedom to the user and let people easily switch between frameworks.'
}
res = nlp(QA_input)

# b) Load model & tokenizer
model = AutoModelForQuestionAnswering.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)

性能

我们在 GermanQuAD 测试集上评估了抽取式问答性能。模型类型和训练数据已包含在模型名称中。微调 XLM-Roberta 时，我们使用了英语 SQuAD v2.0 数据集。 GELECTRA 模型在 SQuAD v1.1 的德语翻译版本上进行热启动，并在 \\germanquad 上进行微调。人类基线是针对 3 路测试集计算的，方法是将一个答案作为预测，另外两个作为真值。

"exact": 62.4773139745916
"f1": 80.9488017070188

作者

Timo Möller：timo.moeller [at] deepset.ai
Julian Risch：julian.risch [at] deepset.ai
Malte Pietsch：malte.pietsch [at] deepset.ai
Michel Bartels：michel.bartels [at] deepset.ai

详情

我们以gelectra-base模型为基础，训练了一个德语问答模型。

训练数据集为单向标注，包含11518个问题和11518个答案；测试数据集为三向标注，包含2204个问题以及2204×3−76=6536个答案（我们已移除76个错误答案）。

除了GermanQuAD中的标注数据外，训练过程还使用了haystack的蒸馏功能。deepset/gelectra-large-germanquad被用作教师模型。

使用方法

在 Haystack 中

Haystack 是一个 AI 编排框架，用于构建可定制、生产级的 LLM 应用程序。您可以在 Haystack 中使用此模型对文档进行抽取式问答。

# After running pip install haystack-ai "transformers[torch,sentencepiece]"

from haystack import Document
from haystack.components.readers import ExtractiveReader

docs = [
    Document(content="Python is a popular programming language"),
    Document(content="python ist eine beliebte Programmiersprache"),
]

reader = ExtractiveReader(model="deepset/gelectra-base-germanquad-distilled")
reader.warm_up()

question = "What is a popular programming language?"
result = reader.run(query=question, documents=docs)
# {'answers': [ExtractedAnswer(query='What is a popular programming language?', score=0.5740374326705933, data='python', document=Document(id=..., content: '...'), context=None, document_offset=ExtractedAnswer.Span(start=0, end=6),...)]}

在 Transformers 中

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline
import torch
import torch_npu
import argparse
import os
from openmind_hub import snapshot_download

# 设置环境变量
os.environ['DEFAULT_DOWNLOAD_TIMEOUT'] = "600"
os.environ['DEFAULT_REQUEST_TIMEOUT'] = "600"

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Jinan_AICC/gelectra-base-germanquad-distilled",
        default=None,
    )
    args = parser.parse_args()
    return args

args = parse_args()

if args.model_name_or_path:
    model_path = args.model_name_or_path
else:
    model_path = snapshot_download(
        "Jinan_AICC/gelectra-base-germanquad-distilled",
        revision="main",
        ignore_patterns=["*.h5", "*.ot", "*.msgpack"],       
    )

# a) Get predictions
nlp = pipeline('question-answering', model=model_path, tokenizer=model_path)
QA_input = {
    'question': 'Why is model conversion important?',
    'context': 'The option to convert models between FARM and transformers gives freedom to the user and let people easily switch between frameworks.'
}
res = nlp(QA_input)

# b) Load model & tokenizer
model = AutoModelForQuestionAnswering.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)

性能

"exact": 62.4773139745916
"f1": 80.9488017070188