Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece

简介 Brief Introduction

该模型擅长处理自然语言理解（NLU）任务，采用SentencePiece分词技术，是参数规模为1.86亿的中文版DeBERTa-v2模型。

Good at solving NLU tasks, adopting sentence piece, Chinese DeBERTa-v2 with 186M parameters.

模型分类 Model Taxonomy

需求 Demand	任务 Task	系列 Series	模型 Model	参数 Parameter	额外 Extra
通用 General	自然语言理解 NLU	二郎神 Erlangshen	DeBERTa-v2	186M	中文-分句 Chinese-SentencePiece

模型信息 Model Information

为了构建中文版DeBERTa-v2（186M参数），我们基于悟道语料库（180G版本）进行预训练。分词方面，我们采用了SentencePiece方法，词表规模约为128,000。在预训练过程中，我们使用封神框架，依托8张3090TI（24G显存）显卡，历时约21天完成训练。

下游效果 Performance

我们展示了在以下下游任务（开发集）上的表现结果：

We present the results (dev set) on the following tasks:

Model	OCNLI	CMNLI
RoBERTa-base	0.743	0.7973
Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece	0.7625	0.8100

使用 Usage

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
from openmind_hub import snapshot_download

import torch

import argparse

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="",
        default="Jinan_AICC/Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece",
    )
    args = parser.parse_args()
    return args

args = parse_args()

if args.model_name_or_path:
    modelname = args.model_name_or_path
else:
    modelname = snapshot_download(
        "Jinan_AICC/Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece",
        revision="main",
        ignore_patterns=["*.h5", "*.ot", "*.msgpack"],       
    )

tokenizer=AutoTokenizer.from_pretrained(modelname, use_fast=False)
model=AutoModelForMaskedLM.from_pretrained(modelname)
text = '中国首都位于<mask>。'
fillmask_pipe = FillMaskPipeline(model, tokenizer)
print(fillmask_pipe(text, top_k=10))

需求 Demand

任务 Task

系列 Series

模型 Model

参数 Parameter

额外 Extra

通用 General

自然语言理解 NLU

二郎神 Erlangshen

DeBERTa-v2

186M

中文-分句 Chinese-SentencePiece

模型信息 Model Information

下游效果 Performance

我们展示了在以下下游任务（开发集）上的表现结果：

We present the results (dev set) on the following tasks:

Model	OCNLI	CMNLI
RoBERTa-base	0.743	0.7973
Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece	0.7625	0.8100

使用 Usage

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
from openmind_hub import snapshot_download

import torch

import argparse

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="",
        default="Jinan_AICC/Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece",
    )
    args = parser.parse_args()
    return args

args = parse_args()

if args.model_name_or_path:
    modelname = args.model_name_or_path
else:
    modelname = snapshot_download(
        "Jinan_AICC/Erlangshen-DeBERTa-v2-186M-Chinese-SentencePiece",
        revision="main",
        ignore_patterns=["*.h5", "*.ot", "*.msgpack"],       
    )

tokenizer=AutoTokenizer.from_pretrained(modelname, use_fast=False)
model=AutoModelForMaskedLM.from_pretrained(modelname)
text = '中国首都位于<mask>。'
fillmask_pipe = FillMaskPipeline(model, tokenizer)
print(fillmask_pipe(text, top_k=10))