llm-jp-13b-v2.0

所需库及其版本

torch>=2.3.0
transformers>=4.40.1
tokenizers>=0.19.1
accelerate>=0.29.3
flash-attn>=2.5.8

使用方法

python3 examples/inference.py --model_name_or_path=./

模型详情

模型类型：基于Transformer的语言模型
总可见 tokens：2560亿

模型	参数规模	层数	隐藏层大小	注意力头数	上下文长度
13b model	130亿	40	5120	40	4096

风险与局限性

此处发布的模型仍处于我们研发的早期阶段，尚未经过优化以确保输出内容符合人类意图及安全考量。

问题咨询方式

llm-jp(at)nii.ac.jp

模型卡片作者

姓名按字母顺序排列。

Namgi Han、Tatsuya Hiraoka、Hirokazu Kiyomaru、Takashi Kodama 及 Hiroshi Matsuda。