HuggingFace镜像/Qwen2.5-Coder-1.5B-Instruct-GGUF

Qwen2.5-Coder-1.5B-Instruct-GGUF:可用于代码生成、推理及修复等开发场景，是指令微调的1.5B Qwen2.5-Coder模型GGUF格式版本，具备32768 tokens上下文长度，支持多种量化方式，提升实际应用中的代码能力。【此简介由AI生成】 - AtomGit AI社区

开放思维

import argparse

import torch
from openmind import is_torch_npu_available
from transformers import AutoTokenizer, AutoModelForCausalLM


def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default=None,
    )

    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    if args.model_name_or_path:
        model_path = args.model_name_or_path
    else:
        model_path = "../"

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
    file_name = "granite-guardian-3.0-2b.Q2_K.gguf"
    tokenizer = AutoTokenizer.from_pretrained("Rose/Qwen2.5-Coder-1.5B-Instruct-GGUF",gguf_file=file_name)
    model = AutoModelForCausalLM.from_pretrained("Rose/Qwen2.5-Coder-1.5B-Instruct-GGUF",gguf_file=file_name)

    input_ids = tokenizer("Gra", return_tensors='pt').to(model.device)["input_ids"]
    output = model.generate(input_ids, max_new_tokens=48, do_sample=True, temperature=0.7)
    print(tokenizer.decode(output[0]))


if __name__ == "__main__":
    main()

Qwen2.5-Coder-1.5B-Instruct-GGUF

简介

Qwen2.5-Coder 是最新系列的代码专用 Qwen 大语言模型（前身为 CodeQwen）。截至目前，Qwen2.5-Coder 已涵盖六种主流模型规模，参数分别为 0.5、1.5、3、7、14、320 亿，以满足不同开发者的需求。相比 CodeQwen1.5，Qwen2.5-Coder 带来了以下改进：

代码生成、代码推理和代码修复能力显著提升。基于强大的 Qwen2.5，我们将训练 token 规模扩展至 5.5 万亿，涵盖源代码、文本-代码关联、合成数据等。Qwen2.5-Coder-32B 已成为当前最先进的开源代码大语言模型，其编码能力可与 GPT-4o 相媲美。
为 Code Agents 等实际应用奠定了更全面的基础。不仅增强了编码能力，还保留了在数学和通用能力方面的优势。

本仓库包含指令微调后的 1.5B Qwen2.5-Coder 模型的 GGUF 格式版本，具有以下特点：

类型：因果语言模型
训练阶段：预训练与后训练
架构：采用 RoPE、SwiGLU、RMSNorm、Attention QKV 偏置和词嵌入绑定的 transformers
参数数量：15.4 亿
非嵌入参数数量：13.1 亿
层数：28
注意力头数（GQA）：Q 为 12，KV 为 2
上下文长度：完整 32,768 个 token
- 注意：目前仅 vLLM 支持 YARN 长度外推。若需处理长达 131,072 个 token 的序列，请参考非 GGUF 模型。
量化方式：q2_K、q3_K_M、q4_0、q4_K_M、q5_0、q5_K_M、q6_K、q8_0

更多详情，请参阅我们的博客、GitHub、文档、Arxiv。

快速开始

查看我们的 llama.cpp 文档获取更多使用指南。

建议您克隆 llama.cpp 并按照官方指南进行安装。我们遵循最新版本的 llama.cpp。在以下演示中，假设您在 llama.cpp 仓库目录下运行命令。

由于克隆整个仓库可能效率不高，您可以手动下载所需的 GGUF 文件或使用 huggingface-cli：

安装
```
pip install -U huggingface_hub
```

下载：

huggingface-cli download Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF qwen2.5-coder-1.5b-instruct-q4_k_m.gguf --local-dir . --local-dir-use-symlinks False

对于用户而言，要实现类聊天机器人的体验，建议以对话模式启动：

./llama-cli -m <gguf-file-path> \
    -co -cnv -p "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
    -fa -ngl 80 -n 512

评估与性能

详细的评估结果已在本📑 博客中公布。

有关 GPU 内存需求及相应吞吐量，请参见此处的结果。

引用

如果您觉得我们的工作有帮助，欢迎引用我们的成果。

@article{hui2024qwen2,
      title={Qwen2. 5-Coder Technical Report},
      author={Hui, Binyuan and Yang, Jian and Cui, Zeyu and Yang, Jiaxi and Liu, Dayiheng and Zhang, Lei and Liu, Tianyu and Zhang, Jiajun and Yu, Bowen and Dang, Kai and others},
      journal={arXiv preprint arXiv:2409.12186},
      year={2024}
}
@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}