这是基础模型的AWQ量化版本,而非聊天模型!
CodeQwen1.5是Qwen1.5的代码专用版本。它是一个基于transformer的解码器语言模型,预训练于大量代码数据。
CodeQwen1.5基于Qwen1.5,这是一个包含不同模型大小的解码器语言模型的系列。它在3万亿个代码token的数据上进行训练,并包含组查询注意力(GQA)以提高推理效率。
Qwen1.5的代码已包含在最新的Hugging Face transformers中,我们建议您安装transformers>=4.37.0,否则可能会遇到以下错误:
KeyError: 'qwen2'.对于基础语言模型,我们不建议您用于聊天。您可以用于微调,也可以用于代码填空、代码生成等,但请务必小心您的停止条件。
如果您发现我们的工作有帮助,请随时引用我们的成果。
@article{qwen,
title={Qwen Technical Report},
author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
journal={arXiv preprint arXiv:2309.16609},
year={2023}
}作为一个专业的翻译引擎,我会以通俗、专业、优雅且流畅的方式翻译Markdown格式的文本内容。请注意,我将直接翻译文本部分,保持原有的Markdown格式,并且不会进行解释或输出任何多余内容。如果文本中包含变量、标签或专业名词等,这些将保持原样不翻译。现在,请提供您需要翻译的英文文本内容。