Qwen1.5-7B

简介

Qwen1.5 是 Qwen2 的测试版本，它是一款基于 Transformer 的仅解码器语言模型，通过在海量数据上进行预训练而得。与之前发布的 Qwen 相比，其改进包括：

6 种模型规模，分别为 0.5B、1.8B、4B、7B、14B 和 72B；
聊天模型性能显著提升；
基础模型与聊天模型均支持多语言；
全尺寸模型稳定支持 32K 上下文长度；
无需 trust_remote_code。

更多详情，请参阅我们的博客文章和GitHub 仓库。

模型详情

Qwen1.5 是一个语言模型系列，包含不同规模的解码器语言模型。针对每种规模，我们都会发布基础语言模型和经过对齐的聊天模型。该系列模型基于 Transformer 架构构建，采用了 SwiGLU 激活函数、注意力 QKV 偏置、分组查询注意力、滑动窗口注意力与全注意力混合等技术。此外，我们还改进了分词器，使其能够适配多种自然语言和代码。在测试版本中，暂未包含 GQA 以及滑动窗口注意力与全注意力的混合机制。

环境要求

Qwen1.5 的代码已集成到最新版的 Hugging face transformers 中，建议您安装 transformers>=4.37.0，否则可能会遇到以下错误：

KeyError: 'qwen2'.

使用说明

我们不建议您直接使用基础语言模型进行文本生成。相反，您可以在此模型上进行后训练，例如SFT、RLHF、持续预训练等。

引用说明

如果您觉得我们的工作对您有帮助，欢迎引用我们的成果。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}

简介

Qwen1.5 是 Qwen2 的测试版本，它是一款基于 Transformer 的仅解码器语言模型，通过在海量数据上进行预训练而得。与之前发布的 Qwen 相比，其改进包括：

6 种模型规模，分别为 0.5B、1.8B、4B、7B、14B 和 72B；

聊天模型性能显著提升；

基础模型与聊天模型均支持多语言；

全尺寸模型稳定支持 32K 上下文长度；

无需 trust_remote_code。

更多详情，请参阅我们的博客文章和GitHub 仓库。

模型详情

引用说明

如果您觉得我们的工作对您有帮助，欢迎引用我们的成果。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}