Qwen2-0.5B-Instruct

简介

Qwen2 是新一代的 Qwen 大型语言模型系列。本次发布的 Qwen2 包含多个基础语言模型和指令微调语言模型，参数规模从 0.50 亿到 720 亿不等，其中还包括一个混合专家（Mixture-of-Experts）模型。本仓库包含的是经过指令微调的 0.50 亿参数 Qwen2 模型。

与当前最先进的开源语言模型（包括此前发布的 Qwen1.5）相比，Qwen2 在一系列针对语言理解、文本生成、多语言能力、代码编写、数学运算、逻辑推理等任务的基准测试中，普遍超越了大多数开源模型，并展现出与专有模型相竞争的实力。

更多详情，请参考我们的 博客、GitHub 和 文档。

模型详情

Qwen2 是一个语言模型系列，包含不同规模的解码器语言模型。对于每种规模，我们都发布了基础语言模型和经过对齐的对话模型。该系列模型基于 Transformer 架构，采用 SwiGLU 激活函数、注意力 QKV 偏置、分组查询注意力（group query attention）等技术。此外，我们还优化了分词器，使其能更好地适配多种自然语言和代码。

训练详情

我们使用了海量数据对模型进行预训练，并通过监督微调（supervised finetuning）和直接偏好优化（direct preference optimization）对模型进行了后续训练。

环境要求

Qwen2 的代码已集成到最新版本的 Hugging Face Transformers 库中，建议您安装 transformers>=4.37.0，否则可能会遇到以下错误：

KeyError: 'qwen2'

快速入门

这里提供一个使用apply_chat_template的代码片段，向您展示如何加载分词器和模型以及如何生成内容。

python3 examples/inference.py --model_name_or_path=./

评估

我们对Qwen2-0.5B-Instruct与Qwen1.5-0.5B-Chat进行了简要对比，结果如下：

引用

如果您觉得我们的工作有帮助，欢迎引用。

@article{qwen2,
  title={Qwen2 Technical Report},
  year={2024}
}