HuggingFace镜像/gelectra-base-germanquad
模型介绍文件和版本分析
下载使用量0

gelectra-base 用于抽取式问答

概述

语言模型： gelectra-base-germanquad
语言： 德语
训练数据： GermanQuAD 训练集（约 12MB）
评估数据： GermanQuAD 测试集（约 5MB）
发布时间： 2021 年 4 月 21 日

详情

  • 我们以 gelectra-base 模型为基础，训练了一个德语问答模型。
  • 训练数据集为单向标注，包含 11518 个问题和 11518 个答案；测试数据集为三向标注，共有 2204 个问题，答案数量为 2204×3−76 = 6536 个，因为我们移除了 76 个错误答案。

超参数

batch_size = 24
n_epochs = 2
max_seq_len = 384
learning_rate = 3e-5
lr_schedule = LinearWarmup
embeds_dropout_prob = 0.1

使用方法

在 Haystack 中

Haystack 是一个 AI 编排框架，用于构建可定制、生产级的 LLM 应用。您可以在 Haystack 中使用此模型对文档进行抽取式问答。


from haystack import Document
from haystack.components.readers import ExtractiveReader

docs = [
    Document(content="Python is a popular programming language"),
    Document(content="python ist eine beliebte Programmiersprache"),
]

reader = ExtractiveReader(model="deepset/gelectra-base-germanquad")
reader.warm_up()

question = "What is a popular programming language?"
result = reader.run(query=question, documents=docs)
# {'answers': [ExtractedAnswer(query='What is a popular programming language?', score=0.5740374326705933, data='python', document=Document(id=..., content: '...'), context=None, document_offset=ExtractedAnswer.Span(start=0, end=6),...)]}

在 Transformers 中

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline
import torch
import torch_npu
import argparse
import os
from openmind_hub import snapshot_download

# 设置环境变量
os.environ['DEFAULT_DOWNLOAD_TIMEOUT'] = "600"
os.environ['DEFAULT_REQUEST_TIMEOUT'] = "600"

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Jinan_AICC/gelectra-base-germanquad",
        default=None,
    )
    args = parser.parse_args()
    return args

args = parse_args()

if args.model_name_or_path:
    model_path = args.model_name_or_path
else:
    model_path = snapshot_download(
        "Jinan_AICC/gelectra-base-germanquad",
        revision="main",
        ignore_patterns=["*.h5", "*.ot", "*.msgpack"],       
    )


# a) Get predictions
nlp = pipeline('question-answering', model=model_path, tokenizer=model_path)
QA_input = {
    'question': 'Why is model conversion important?',
    'context': 'The option to convert models between FARM and transformers gives freedom to the user and let people easily switch between frameworks.'
}
res = nlp(QA_input)

# b) Load model & tokenizer
model = AutoModelForQuestionAnswering.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)

性能表现

我们在GermanQuAD测试集上评估了抽取式问答的性能。模型类型和训练数据已包含在模型名称中。在对XLM-Roberta进行微调时，我们使用了英文SQuAD v2.0数据集。人类基线是针对三向测试集计算的，方法是将一个答案作为预测，另外两个作为真实标签。