llm-jp-1.3b-v1.0

本仓库提供由日本发起的合作项目LLM-jp所开发的大型语言模型。

所需库及其版本

• torch>=2.0.0
• transformers>=4.34.0
• tokenizers>=0.14.0
• accelerate==0.23.0

使用方法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-1.3b-v1.0")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-1.3b-v1.0", device_map="auto", torch_dtype=torch.float16)
text = "自然言語処理とは何か"
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=20,
        do_sample=True,
        top_p=0.90,
        temperature=0.7,
    )[0]
print(tokenizer.decode(output))

模型详情

• 模型类型：基于 Transformer 的语言模型
• 总处理 tokens：3000 亿

训练

• 预训练：

  • 硬件：96 张 A100 40GB GPU（mdx cluster）
  • 软件：Megatron-DeepSpeed

• 指令微调：

  • 硬件：8 张 A100 40GB GPU（mdx cluster）
  • 软件：TRL、PEFT 和 DeepSpeed

分词器

本模型的分词器基于 huggingface/tokenizers 的 Unigram 字节回退模型。 词汇表条目由 llm-jp-tokenizer v2.1 (50k) 转换而来。 有关词汇构建过程的详细信息，请参阅 llm-ja-tokenizer 的 README.md。

• 模型：采用 Unigram 字节回退模型的 Hugging Face 快速分词器，要求 tokenizers>=0.14.0
• 训练算法：SentencePiece Unigram 字节回退
• 训练数据：模型预训练数据集的一个子集
• 词汇表大小：50,570（日语、英语和源代码的混合词汇）

数据集

预训练

模型使用以下数据集的混合数据进行预训练。

预训练使用 10 折非重叠数据持续进行，每折数据包含约 270-280 亿 tokens。 我们使用从上述 10 折数据所用的相同源数据集中获取的额外（可能）高质量的 270 亿 tokens 数据完成了预训练。

指令微调

模型已在以下数据集上进行了微调。

评估

您可以在该排行榜上查看多个LLM的评估结果。我们使用llm-jp-eval进行评估。

风险与限制

此处发布的模型仍处于我们研发的早期阶段，尚未针对确保输出符合人类意图和安全考量进行调整。

问题反馈

llm-jp(at)nii.ac.jp

许可证

Apache License, Version 2.0

模型卡片作者

姓名按字母顺序排列。

Hirokazu Kiyomaru, Hiroshi Matsuda, Jun Suzuki, Namgi Han, Saku Sugawara, Shota Sasaki, Shuhei Kurita, Taishi Nakamura, Takumi Okamoto.