🐙 GitHub •
👾 Discord •
🐤 Twitter •
💬 WeChat
📝 论文 •
💪 技术博客 •
🙌 常见问题 •
📗 学习中心
简介
Yi-1.5 是 Yi 的升级版。它在 Yi 的基础上，使用 5000 亿 tokens 的高质量语料进行了持续预训练，并在 300 万多样化的微调样本上进行了微调。
与 Yi 相比，Yi-1.5 在代码生成、数学运算、推理能力和指令遵循能力方面表现更强，同时仍保持着出色的语言理解、常识推理和阅读理解能力。
| 模型 | 上下文长度 | 预训练 tokens |
|---|---|---|
| Yi-1.5 | 4K, 16K, 32K | 3.6T |
openmind 推理脚本
import argparse
import torch
from openmind import pipeline, is_torch_npu_available
from openmind import AutoTokenizer, AutoModelForCausalLM
def parse_args():
parser = argparse.ArgumentParser()
parser.add_argument(
"--model_name_or_path",
type=str,
help="Path to model",
default=None,
)
args = parser.parse_args()
return args
if is_torch_npu_available():
device = "npu:0"
else:
device = "cpu"
model_path = 'Rose/YI-1.5-34B'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_path,
trust_remote_code=True,
torch_dtype=torch.float16,
device_map="auto"
)
prompt = "请帮我生成一段关于中国历史的介绍,请详细介绍中国的古代，近代历史"
inputs = tokenizer(prompt, return_tensors="pt")
inputs = inputs.to(model.device)
outputs = model.generate(
**inputs,
max_length=2048,
num_return_sequences=1,
temperature=0.7,
top_p=0.6,
top_k=20,
repetition_penalty=1.2,
do_sample=True,
pad_token_id=tokenizer.pad_token_id
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("输入:", prompt)
print("输出:", response)模型
-
对话模型
名称 下载地址 Yi-1.5-34B-Chat • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-34B-Chat-16K • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-9B-Chat • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-9B-Chat-16K • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-6B-Chat • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel -
基础模型
名称 下载地址 Yi-1.5-34B • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-34B-32K • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-9B • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-9B-32K • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel Yi-1.5-6B • 🤗 Hugging Face • 🤖 ModelScope • 🟣 wisemodel
基准测试
-
聊天模型
Yi-1.5-34B-Chat 在大多数基准测试中表现与更大规模模型相当，甚至更优。
Yi-1.5-9B-Chat 在同等规模的开源模型中性能领先。
-
基础模型
Yi-1.5-34B 在部分基准测试中表现与更大规模模型相当，甚至更优。
Yi-1.5-9B 在同等规模的开源模型中性能领先。
快速开始
如需快速启动并运行 Yi-1.5 模型，请参见 README。