开放思维

import argparse

import torch
from openmind import is_torch_npu_available
from transformers import AutoTokenizer, AutoModelForCausalLM


def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default=None,
    )

    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    if args.model_name_or_path:
        model_path = args.model_name_or_path
    else:
        model_path = "Rose/Qwen2.5-1.5B-Instruct-GGUF"

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
    file_name = 'qwen2.5-1.5b-instruct-fp16.gguf'
    tokenizer = AutoTokenizer.from_pretrained(model_path,gguf_file=file_name)
    model = AutoModelForCausalLM.from_pretrained(model_path,gguf_file=file_name).to(device)

    input_ids = tokenizer("Gra", return_tensors='pt').to(model.device)["input_ids"]
    output = model.generate(input_ids, max_new_tokens=48, do_sample=True, temperature=0.7)
    print(tokenizer.decode(output[0]))


if __name__ == "__main__":
    main()

Qwen2.5-1.5B-Instruct-GGUF

简介

Qwen2.5 是最新系列的 Qwen 大语言模型。针对 Qwen2.5，我们发布了多个基础语言模型和指令微调语言模型，参数规模从 0.50 亿到 720 亿不等。Qwen2.5 在 Qwen2 的基础上带来了以下改进：

知识量显著增加，并且在代码和数学能力方面有大幅提升，这得益于我们在这些领域的专业专家模型。
在指令遵循、长文本生成（超过 8K tokens）、结构化数据理解（如表格）以及结构化输出生成（尤其是 JSON）方面有显著改进。对系统提示的多样性更具适应性，增强了角色扮演的实现和聊天机器人的条件设置能力。
长上下文支持，最长可达 128K tokens，并能生成最多 8K tokens。
多语言支持，覆盖超过 29 种语言，包括中文、英文、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

本仓库包含指令微调后的 15 亿参数 Qwen2.5 模型的 GGUF 格式版本，其特点如下：

类型：因果语言模型
训练阶段：预训练与后训练
架构：采用 RoPE、SwiGLU、RMSNorm、注意力 QKV 偏置和共享词嵌入的 transformers
参数数量：15.4 亿
非嵌入参数数量：13.1 亿
层数：28
注意力头数（GQA）：Q 为 12 个，KV 为 2 个
上下文长度：完整上下文 32,768 tokens，生成长度 8192 tokens
量化版本：q2_K、q3_K_M、q4_0、q4_K_M、q5_0、q5_K_M、q6_K、q8_0

更多详情，请参考我们的博客、GitHub 和文档。

快速开始

查看我们的 llama.cpp 文档以获取更多使用指南。

建议您克隆 llama.cpp 并按照官方指南进行安装。我们遵循最新版本的 llama.cpp。在以下演示中，假设您在 llama.cpp 仓库目录下运行命令。

由于克隆整个仓库可能效率不高，您可以手动下载所需的 GGUF 文件或使用 huggingface-cli：

安装
```
pip install -U huggingface_hub
```

下载：

huggingface-cli download Qwen/Qwen2.5-1.5B-Instruct-GGUF qwen2.5-1.5b-instruct-q5_k_m.gguf --local-dir . --local-dir-use-symlinks False

对于用户而言，要获得类聊天机器人的体验，建议从对话模式开始：

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

评估与性能

详细的评估结果已在本📑 博客中公布。

关于量化模型相较于原始bfloat16模型的基准测试结果，可参见此处。

有关GPU内存需求及相应吞吐量的信息，请查看此处的结果。

引用

如果您觉得我们的工作对您有所帮助，欢迎引用我们的成果。

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}
@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}