HuggingFace镜像/Yi-1.5-9B
模型介绍文件和版本分析
下载使用量0

🐙 GitHub • 👾 Discord • 🐤 Twitter • 💬 WeChat
📝 论文 • 💪 技术博客 • 🙌 常见问题 • 📗 学习中心

简介

Yi-1.5 是 Yi 的升级版本。它在 Yi 的基础上，使用 5000 亿 token 的高质量语料库进行持续预训练，并在 300 万多样化的微调样本上进行了微调。

与 Yi 相比，Yi-1.5 在代码生成、数学运算、推理能力和指令遵循能力方面表现更出色，同时在语言理解、常识推理和阅读理解等方面依然保持着卓越的能力。

模型上下文长度预训练 Token 量
Yi-1.54K、16K、32K3.6T

模型

  • 对话模型

结合 openMind 使用

环境变量

# source environment variable
source /usr/local/Ascend/ascend-toolkit/set_env.sh
export OPENMIND_FRAMEWORK=pt

pip install openMind Library

OpenMind Library 可通过 pip 进行安装，请根据实际环境选择对应的命令进行安装。

需要注意的是，由于 torch npu 依赖 torch，在 aarch64 环境下可直接通过 pip 安装，而在 x86 环境下需要通过特定 URL 下载 CPU 版本，因此两种环境下的安装命令有所不同。具体安装代码已在下文进行区分呈现。

# aarch64
pip install openmind[all]
# x86
pip install openmind[all] --extra-index-url https://download.pytorch.org/whl/cpu

推理

from openmind import AutoTokenizer, AutoModelForCausalLM
import torch
import torch_npu

model_dir = "HangZhou_Ascend/Yi-1.5-9B"
tokenizer = AutoTokenizer.from_pretrained(model_dir, device_map="auto", trust_remote_code=True)
# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and might cause OOM Error.
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto",  trust_remote_code=True, torch_dtype=torch.float16)
model = model.eval()
response, history = model.chat(tokenizer, "1+1=", history=[], meta_instruction="")
print(response)

快速入门

如需快速启动并运行 Yi-1.5 模型，请参见 README。