HuggingFace镜像/Randeng-BART-139M-QG-Chinese

Randeng-BART-139M-QG-Chinese

Github: Fengshenbang-LM/finetune_bart_qg
Docs: Fengshenbang-Docs

简介 Brief Introduction

一款擅长处理问题生成任务的中文版 BART-base 模型。

Good at solving question generation tasks Bart-base Model (Chinese version).

模型分类 Model Taxonomy

需求 Demand	任务 Task	系列 Series	模型 Model	参数 Parameter	额外 Extra
通用 General	自然语言转换 NLT	燃灯 Randeng	BART	139M	问题生成任务-中文 QuestionGeneration-Chinese

模型信息 Model Information

该模型基于IDEA-CCNL/Randeng-BART-139M，在 ChineseSQuAD 数据集上针对问题生成任务进行了微调。该数据集由部分 SQuAD 数据集翻译而来，包含约 67k 个带答案的训练样本。

Based on IDEA-CCNL/Randeng-BART-139M, we fine-tuned a question generation version on ChineseSQuAD datasets. The dataset is translated from SQuAD 2.0, with around 67k samples with answer.

下游效果 Performance

数据集 Dataset	规模 Size	BLEU-4	METEOR	ROUGE-L
ChineseSQuAD	139M	22.17	40.38	38.17

使用 Usage

from transformers import AutoTokenizer, BartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained("IDEA-CCNL/Randeng-BART-139M-QG-Chinese",additional_special_tokens=["<ans>"])
model = BartForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-BART-139M-QG-Chinese")

context = "知识：1939年9月1日德国入侵波兰后，第二次世界大战开始，华沙一直被保卫到9月27日。波兰中部，包括华沙，都在德国纳粹殖民地政府总政府的统治下。所有的高等教育机构都立即关闭，华沙的犹太人口——几十万，约占城市的 <ans> ——全部涌入华沙的贫民区。回答：30%"
inputs = tokenizer.encode_plus(
            context,
            max_length=448,
            padding="max_length",
            truncation=True,
            return_tensors='pt'
        )
out = model.generate(                
        input_ids=inputs['input_ids'],
        attention_mask=inputs['attention_mask'],
        do_sample=True,
        num_beams=5,
        max_length=64,
        top_p = 0.9,
    )
pred = tokenizer.batch_decode(out,clean_up_tokenization_spaces=True, skip_special_tokens=True)[0]
print(pred)
# 问题:华沙的犹太人口占城市的百分之多少?

引用 Citation

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

如果您将本资源用于您的工作，请引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}