German BERT large

该模型发布于2020年10月，是一款德语BERT语言模型，由原始德语BERT（即“bert-base-german-cased”）的开发者与dbmdz BERT（即bert-base-german-dbmdz-cased）的开发者合作训练而成。在我们的论文中，我们详细介绍了模型的训练步骤，并证明该模型的性能优于其前代模型。

概述

论文： 链接
架构： BERT large
语言： 德语

在Openmind中使用

from openmind import pipeline, AutoTokenizer, is_torch_npu_available
from openmind_hub import snapshot_download
import torch.nn.functional as F
from torch import Tensor
import openmind
import torch
import argparse
import time

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default="jeffding/gbert-large-openmind",
    )
    args = parser.parse_args()
    return args

def main():
    args = parse_args()
    model_path = args.model_name_or_path

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
    
    start_time = time.time()
    
    tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=True)
    pipe = pipeline('fill-mask', model=model_path, torch_dtype=torch.bfloat16, device_map=device)
    MASK_TOKEN = tokenizer.mask_token
    result = pipe("Hallo, ich bin ein {} model.".format(MASK_TOKEN))
    print(result)
    
    end_time = time.time()
    print(f"硬件环境：{device},推理执行时间：{end_time - start_time}秒")
    
if __name__ == "__main__":
    main()

性能表现

GermEval18 Coarse: 80.08
GermEval18 Fine:   52.48
GermEval14:        88.16

另请参阅：
deepset/gbert-base
deepset/gbert-large
deepset/gelectra-base
deepset/gelectra-large
deepset/gelectra-base-generator
deepset/gelectra-large-generator

作者

Branden Chan: branden.chan@deepset.ai
Stefan Schweter: stefan@schweter.eu
Timo Möller: timo.moeller@deepset.ai

关于我们

deepset 是生产级开源 AI 框架 Haystack 的开发公司。

我们的其他部分成果：

联系我们并加入 Haystack 社区

如需了解更多关于 Haystack 的信息，请访问我们的 GitHub 代码库和文档。

我们还设有一个 对所有人开放的 Discord 社区！

顺便说一下：我们正在招聘！

German BERT large

在Openmind中使用

from openmind import pipeline, AutoTokenizer, is_torch_npu_available
from openmind_hub import snapshot_download
import torch.nn.functional as F
from torch import Tensor
import openmind
import torch
import argparse
import time

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default="jeffding/gbert-large-openmind",
    )
    args = parser.parse_args()
    return args

def main():
    args = parse_args()
    model_path = args.model_name_or_path

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
    
    start_time = time.time()
    
    tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=True)
    pipe = pipeline('fill-mask', model=model_path, torch_dtype=torch.bfloat16, device_map=device)
    MASK_TOKEN = tokenizer.mask_token
    result = pipe("Hallo, ich bin ein {} model.".format(MASK_TOKEN))
    print(result)
    
    end_time = time.time()
    print(f"硬件环境：{device},推理执行时间：{end_time - start_time}秒")
    
if __name__ == "__main__":
    main()