HuggingFace镜像/mt5_summarize_japanese-openmind
模型介绍文件和版本分析
下载使用量0

mt5_summarize_japanese

(日语标题:日本語の要約のモデル)

该模型是 google/mt5-small 的微调版本,专为日语文本摘要任务训练。

本模型在 BBC 新闻文章(XL-Sum Japanese dataset)上进行了微调,其中第一句(标题句)用作摘要,其余句子用作文章内容。
因此,请在推理小部件中填入新闻报道(包括事件、背景、结果、评论等内容)作为源文本。(训练集中未包含其他语料库,如对话、商业文档、学术论文或短篇故事。)

其在评估集上取得了以下结果:

  • 损失(Loss):1.8952
  • Rouge1:0.4625
  • Rouge2:0.2866
  • Rougel:0.3656
  • Rougelsum:0.3868

在 Openmind 中的使用

import torch
import argparse
from openmind import pipeline, is_torch_npu_available
import time

def parse_args():
    parser = argparse.ArgumentParser(description="Eval the model")
    parser.add_argument(
       "--model_name_or_path",
       type=str,
       help="path or model",
       default="jeffding/mt5_summarize_japanese-openmind",
    )
    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    model_path = args.model_name_or_path

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
        
    seq2seq = pipeline("summarization", model=model_path,device_map=device)
    
    start_time = time.time()
    sample_text = "サッカーのワールドカップカタール大会、世界ランキング24位でグループEに属する日本は、23日の1次リーグ初戦において、世界11位で過去4回の優勝を誇るドイツと対戦しました。試合は前半、ドイツの一方的なペースではじまりましたが、後半、日本の森保監督は攻撃的な選手を積極的に動員して流れを変えました。結局、日本は前半に1点を奪われましたが、途中出場の堂安律選手と浅野拓磨選手が後半にゴールを決め、2対1で逆転勝ちしました。ゲームの流れをつかんだ森保采配が功を奏しました。"
    result = seq2seq(sample_text)
    print(result)

    end_time = time.time()
    print(f"硬件环境:{device},推理执行时间:{end_time - start_time}秒")

if __name__ == "__main__":
   main()

预期用途

from transformers import pipeline

seq2seq = pipeline("summarization", model="tsmatz/mt5_summarize_japanese")
sample_text = "サッカーのワールドカップカタール大会、世界ランキング24位でグループEに属する日本は、23日の1次リーグ初戦において、世界11位で過去4回の優勝を誇るドイツと対戦しました。試合は前半、ドイツの一方的なペースではじまりましたが、後半、日本の森保監督は攻撃的な選手を積極的に動員して流れを変えました。結局、日本は前半に1点を奪われましたが、途中出場の堂安律選手と浅野拓磨選手が後半にゴールを決め、2対1で逆転勝ちしました。ゲームの流れをつかんだ森保采配が功を奏しました。"
result = seq2seq(sample_text)
print(result)

训练过程

您可以从这里下载用于微调的源代码。

训练超参数

训练过程中使用了以下超参数:

  • learning_rate: 0.0005
  • train_batch_size: 2
  • eval_batch_size: 1
  • seed: 42
  • gradient_accumulation_steps: 16
  • total_train_batch_size: 32
  • optimizer: Adam,参数 betas=(0.9,0.999),epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 90
  • num_epochs: 10

训练结果

训练损失轮次步数验证损失Rouge1Rouge2RougelRougelsum
4.25010.361003.36850.31140.16540.26270.2694
3.64360.722003.00950.30230.16340.26840.2764
3.30441.083002.80250.34140.17890.29120.2984
3.26931.444002.62840.36160.19350.29790.3132
3.20251.85002.52710.37900.20420.30460.3192
2.97722.176002.42030.40830.23740.34220.3542
2.91332.537002.38630.38470.20960.33160.3406
2.93832.898002.35730.40160.22970.33610.3500
2.76083.259002.32230.39990.22490.34610.3566
2.78643.6110002.22930.39320.22190.32970.3445
2.78463.9711002.20970.43860.26170.37660.3826
2.74954.3312002.18790.41000.24490.34810.3551
2.60924.6913002.15150.43980.27140.37870.3842
2.55985.0514002.11950.43660.25450.36210.3736
2.52835.4115002.06370.42740.25510.36490.3753
2.59475.7716002.05880.44540.28000.38280.3921
2.53546.1417002.03570.42530.25820.35460.3687
2.52036.518002.02630.44440.26860.36480.3764
2.53036.8619001.99260.44550.27710.37950.3948
2.49537.2220001.95760.45230.28730.38690.4053
2.42717.5821001.93840.44550.28110.37130.3862
2.44627.9422001.92300.45300.28460.37540.3947
2.33038.323001.93110.45190.28140.37550.3887
2.39168.6624001.92130.45980.28970.36880.3889
2.59959.0325001.90600.45260.28200.37330.3946
2.33489.3926001.90210.45950.28560.37620.3988
2.40359.7427001.89520.46250.28660.36560.3868

框架版本

  • Transformers 4.23.1
  • Pytorch 1.12.1+cu102
  • Datasets 2.6.1
  • Tokenizers 0.13.1