CodeQwen1.5-7B-Chat

简介

CodeQwen1.5 是 Qwen1.5 的代码专用版本。它是一款基于 Transformer 的仅解码器语言模型，在大量代码数据上进行了预训练。

强大的代码生成能力，在一系列基准测试中表现出竞争力；
支持长上下文理解与生成，上下文长度可达 64K tokens；
支持 92 种编程语言；
在文本转 SQL、代码修复等任务上表现出色。

模型详情

CodeQwen1.5 基于 Qwen1.5 构建，Qwen1.5 是一个包含不同模型规模的解码器语言模型系列。CodeQwen1.5 在 3 万亿 tokens 的代码数据上进行训练，并采用了分组查询注意力（GQA）以实现高效推理。

import torch
from torch import nn
from openmind import AutoTokenizer, AutoModelForCausalLM
model_id = "/home/ma-user/work/model/Qwen/CodeQwen1___5-7B-Chat"

tokenizer = AutoTokenizer.from_pretrained(model_id)

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained(
    model_id
).to('npu')  # 将模型移动到NPU上

# 文本输入
input_text = "Write a quicksort algorithm in python."

# 对输入文本进行编码
input_ids = tokenizer.encode(input_text, return_tensors='pt').to('npu')

# 生成文本
output = model.generate(input_ids, max_length=200)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

CodeQwen1.5-7B-Chat

简介

CodeQwen1.5 是 Qwen1.5 的代码专用版本。它是一款基于 Transformer 的仅解码器语言模型，在大量代码数据上进行了预训练。

强大的代码生成能力，在一系列基准测试中表现出竞争力；
支持长上下文理解与生成，上下文长度可达 64K tokens；
支持 92 种编程语言；
在文本转 SQL、代码修复等任务上表现出色。

模型详情

import torch
from torch import nn
from openmind import AutoTokenizer, AutoModelForCausalLM
model_id = "/home/ma-user/work/model/Qwen/CodeQwen1___5-7B-Chat"

tokenizer = AutoTokenizer.from_pretrained(model_id)

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained(
    model_id
).to('npu')  # 将模型移动到NPU上

# 文本输入
input_text = "Write a quicksort algorithm in python."

# 对输入文本进行编码
input_ids = tokenizer.encode(input_text, return_tensors='pt').to('npu')

# 生成文本
output = model.generate(input_ids, max_length=200)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)