Qwen1.5-4B-Chat

简介

Qwen1.5 是 Qwen2 的测试版本，它是一款基于 Transformer 的仅解码器语言模型，在大量数据上进行了预训练。与之前发布的 Qwen 相比，其改进包括：

6 种模型规模，涵盖 0.5B、1.8B、4B、7B、14B 和 72B；
聊天模型在人类偏好方面的性能显著提升；
基础模型和聊天模型均支持多语言；
所有规模的模型均稳定支持 32K 上下文长度；
无需 trust_remote_code。

更多详情，请参考我们的博客文章和 GitHub 代码库。

模型详情

Qwen1.5 是一个语言模型系列，包含不同规模的解码器语言模型。针对每种规模，我们都会发布基础语言模型和经过对齐的聊天模型。该模型基于 Transformer 架构，采用 SwiGLU 激活函数、注意力 QKV 偏置、分组查询注意力（GQA）、滑动窗口注意力与全注意力混合机制等。此外，我们还对分词器进行了改进，使其能够适配多种自然语言和代码。在当前测试版本中，暂未包含 GQA 以及滑动窗口注意力与全注意力的混合机制。

训练详情

我们使用大量数据对模型进行了预训练，并通过监督微调（SFT）和直接偏好优化（DPO）对模型进行了后训练。然而，DPO 在提升人类偏好评估结果的同时，却导致了基准测试性能的下降。在不久的将来，我们将解决这两个问题。

KeyError: 'qwen2'

在 openMind 中使用

环境变量

# source environment variable
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export OPENMIND_FRAMEWORK=pt

pip 安装 openMind 库

OpenMind 库可通过 pip 进行安装，请根据实际环境选择对应的命令进行安装。

需要注意的是，由于 torch npu 依赖 torch，在 aarch64 架构下可直接通过 pip 安装，但在 x86 架构下需要通过特定 URL 下载 CPU 版本，因此两种环境下的安装命令有所不同。具体安装代码已在下文进行区分呈现。

# aarch64
pip install openmind[all]
# x86
pip install openmind[all] --extra-index-url https://download.pytorch.org/whl/cpu

推理

from openmind import AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu

model_dir = "HangZhou_Ascend/Qwen1.5-4B-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto",  trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "1+1=", history=[], meta_instruction="")
print(response)

局限性

智能体能力有所减弱；
偶尔会出现代码切换现象。建议您使用 generation_config.json 中提供的超参数。

引用

如果您觉得我们的工作对您有所帮助，欢迎引用我们的成果。

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}