kogpt-j-base:可用于韩国语相关的文本生成任务，如对话、创作等。该项目基于 GPT-J 架构，采用 PyTorch 框架，支持 NPU 硬件，训练数据涵盖多种韩国语语料，参数规模达 163M。【此简介由AI生成】

模型构成

GPT-J(Flax, Pytorch)
12 层，768 隐藏维度，3072 中间维度，12 头注意力机制，51200 词汇量
1024 最大序列长度（max_seq_len）
参数数量：163M

训练环境及超参数

TPU V2-8
学习率（Learning Rate）：6e-4，批大小（Batch Size）：512（=64 累积梯度 × 8 设备），调度器（Scheduler）：线性（Linear），预热步数（WarmUp）：1000 步
优化器（Optimizer）：AdamW（adam_beta1=0.9，adam_beta2=0.98，weight_decay=0.01）
训练步数（Training Steps）：43247（3 个 epoch）
训练 token 数量：21.11B（43247 × 512 × 1024seq / 1024^3）
训练周期：2023/2/16 ~ 2023/2/18（耗时 2 天 22 小时）
训练代码：https://github.com/HeegyuKim/language-model

训练使用数据

AIHub SNS 对话（730MB）
AIHub 口语体（422MB）
AIHub 图书（1.6MB）
AIHub 大规模网络数据基础韩国语语料库（12GB）
韩国语维基（867MB）
나무위키（6.4GB）
国立国语院 messenger 对话（21MB）
国立国语院日常对话语料库（23MB）
国立国语院书面语语料库（3.2GB）
国立国语院口语语料库（1.1GB）
国立国语院新闻语料库（~2022，17GB）
青瓦台国民请愿（525MB）

数据集大小以预处理后的 jsonl 文件为基准。总 token 数量约为 7B。

使用示例

from openmind import pipeline, is_torch_npu_available
import torch
import torch_npu
import argparse

def parse_args():
        parser = argparse.ArgumentParser()
        parser.add_argument( "--model_name_or_path", type=str, help="Path to model", default="./", )
        args = parser.parse_args()
        return args
args = parse_args()
model_name = args.model_name_or_path
device = torch.device('npu:0') if is_torch_npu_available() else torch.device('cpu')

pipe = pipeline('text-generation', model=model_name, device=device)

print(pipe("안녕하세요", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("오늘 정부 발표에 따르면, ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("싸늘하다. 가슴에 비수가 날아와 꽂힌다. ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128, min_length=64))

结果

[{'generated_text': "안녕하세요'라는 제목의 영상에서 (이름)는 '10년, 한 달 전쯤 kbs 9시 뉴스와 11시에 뉴스를 하면서 '아침에는 어떤 내용이고 아침이 왜 안 됐냐', '내가 뭘 잘못했느냐' 이런 이야기를 했다. 그런데 kbs '뉴스9'에 나와서 방송국에 사과해야 하는 게 아니냐고 하더라'고 말했다.. 이어'sns 활동을 하면서 이런 질문을 할 정도로 (진정성 없는 사람이라면 방송을 그만 뒀어야 했다)'며 '당시에는 '나도 방송인이 됐는데 왜 나에게 이런 질문과 비판을 하는가'라고 생각했고, 내가 무슨 잘못을 했다고 이렇게 이야기하냐 했다. 그러나 지금 생각해보면 그때 제가"}]
[{'generated_text': '오늘 정부 발표에 따르면, 美 제조업, 내수 모두 하락했다.미 상무부는 지난달 미국의 제조업 수주가 전월대비 0.5% 감소했다고 22일 밝혔다. 이는 직전월과 같은 수치다. 서비스업지수도 0.3% 후퇴하며 증가세를 견인하고 있다. 미국 제조업 수주도 전월에 비해 1포인트 저하한 수준이다.미중 무역전쟁에 따른 불안감이 지속되면서 뉴욕증시가 6주 연속 하락하면서 투자 심리를 악화시켰다.미국 연방준비제도(연준)의 9·12 양적완화(qe) 결정으로 6년반 만에 사상 최대로 늘어난 자금이 시장에 유입되고 있다는 분석이다'}]
[{'generated_text': "싸늘하다. 가슴에 비수가 날아와 꽂힌다. 救國者, 이것이 바로 한비자다, 그대의 용사다」\n『太平御覽』 「答薩於蕭金可書記事大會(太平朝覽)」.\n'아타시메시(Triasmehi…)'라고 하는 이 말은 일본어 '하츠네테키'(ハートとキルス)에 더 가까운 말이다. 일본의 역사학자 다카야마 세이시가 쓴 『토쿠이 테루오미(徳井奥義三)』에서 '도적'"}]

注意事项

本模型的训练数据可能包含各类歧视/仇恨数据，且未进行专门的清除工作。因此，模型生成的句子可能会出现针对特定人物、种族、性别、残障人士的歧视/仇恨言论。

训练环境及超参数

TPU V2-8

学习率（Learning Rate）：6e-4，批大小（Batch Size）：512（=64 累积梯度 × 8 设备），调度器（Scheduler）：线性（Linear），预热步数（WarmUp）：1000 步

优化器（Optimizer）：AdamW（adam_beta1=0.9，adam_beta2=0.98，weight_decay=0.01）

训练步数（Training Steps）：43247（3 个 epoch）

训练 token 数量：21.11B（43247 × 512 × 1024seq / 1024^3）

训练周期：2023/2/16 ~ 2023/2/18（耗时 2 天 22 小时）

训练代码：https://github.com/HeegyuKim/language-model

训练使用数据

AIHub SNS 对话（730MB）

AIHub 口语体（422MB）

AIHub 图书（1.6MB）

AIHub 大规模网络数据基础韩国语语料库（12GB）

韩国语维基（867MB）

나무위키（6.4GB）

国立国语院 messenger 对话（21MB）

国立国语院日常对话语料库（23MB）

国立国语院书面语语料库（3.2GB）

国立国语院口语语料库（1.1GB）

国立国语院新闻语料库（~2022，17GB）

青瓦台国民请愿（525MB）

数据集大小以预处理后的 jsonl 文件为基准。总 token 数量约为 7B。

使用示例

from openmind import pipeline, is_torch_npu_available
import torch
import torch_npu
import argparse

def parse_args():
        parser = argparse.ArgumentParser()
        parser.add_argument( "--model_name_or_path", type=str, help="Path to model", default="./", )
        args = parser.parse_args()
        return args
args = parse_args()
model_name = args.model_name_or_path
device = torch.device('npu:0') if is_torch_npu_available() else torch.device('cpu')

pipe = pipeline('text-generation', model=model_name, device=device)

print(pipe("안녕하세요", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("오늘 정부 발표에 따르면, ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128))
print(pipe("싸늘하다. 가슴에 비수가 날아와 꽂힌다. ", repetition_penalty=1.2, do_sample=True, eos_token_id=1, early_stopping=True, max_new_tokens=128, min_length=64))

结果

[{'generated_text': "안녕하세요'라는 제목의 영상에서 (이름)는 '10년, 한 달 전쯤 kbs 9시 뉴스와 11시에 뉴스를 하면서 '아침에는 어떤 내용이고 아침이 왜 안 됐냐', '내가 뭘 잘못했느냐' 이런 이야기를 했다. 그런데 kbs '뉴스9'에 나와서 방송국에 사과해야 하는 게 아니냐고 하더라'고 말했다.. 이어'sns 활동을 하면서 이런 질문을 할 정도로 (진정성 없는 사람이라면 방송을 그만 뒀어야 했다)'며 '당시에는 '나도 방송인이 됐는데 왜 나에게 이런 질문과 비판을 하는가'라고 생각했고, 내가 무슨 잘못을 했다고 이렇게 이야기하냐 했다. 그러나 지금 생각해보면 그때 제가"}]
[{'generated_text': '오늘 정부 발표에 따르면, 美 제조업, 내수 모두 하락했다.미 상무부는 지난달 미국의 제조업 수주가 전월대비 0.5% 감소했다고 22일 밝혔다. 이는 직전월과 같은 수치다. 서비스업지수도 0.3% 후퇴하며 증가세를 견인하고 있다. 미국 제조업 수주도 전월에 비해 1포인트 저하한 수준이다.미중 무역전쟁에 따른 불안감이 지속되면서 뉴욕증시가 6주 연속 하락하면서 투자 심리를 악화시켰다.미국 연방준비제도(연준)의 9·12 양적완화(qe) 결정으로 6년반 만에 사상 최대로 늘어난 자금이 시장에 유입되고 있다는 분석이다'}]
[{'generated_text': "싸늘하다. 가슴에 비수가 날아와 꽂힌다. 救國者, 이것이 바로 한비자다, 그대의 용사다」\n『太平御覽』 「答薩於蕭金可書記事大會(太平朝覽)」.\n'아타시메시(Triasmehi…)'라고 하는 이 말은 일본어 '하츠네테키'(ハートとキルス)에 더 가까운 말이다. 일본의 역사학자 다카야마 세이시가 쓴 『토쿠이 테루오미(徳井奥義三)』에서 '도적'"}]