打造下一代开源双语大语言模型
👩🚀 在 GitHub 提问或交流想法
📝 查阅 Yi 技术报告
📚 在 Yi 学习中心 共同成长
📕 目录
什么是 Yi？
简介
-
🤖 Yi 系列模型是由 01.AI 从头开始训练的下一代开源大型语言模型。
-
🙌 作为一款双语语言模型，Yi 系列模型在 3T 多语言语料上进行了训练，现已成为全球性能最强的大型语言模型之一，在语言理解、常识推理、阅读理解等方面展现出巨大潜力。例如：
-
Yi-34B-Chat 模型在 AlpacaEval 排行榜上位居第二（仅次于 GPT-4 Turbo），性能超过了其他大型语言模型（如 GPT-4、Mixtral、Claude）（基于截至 2024 年 1 月的数据）。
-
Yi-34B 模型在各种基准测试中，包括 Hugging Face Open LLM 排行榜（预训练模型）和 C-Eval，在英语和中文方面均排名所有现有开源模型（如 Falcon-180B、Llama-70B、Claude）之首（基于截至 2023 年 11 月的数据）。
-
🙏（致谢 Llama）感谢 Transformer 和 Llama 开源社区，他们减少了从头开始构建模型所需的工作量，并使得在 AI 生态系统中能够使用相同的工具。
如果您对 Yi 采用 Llama 架构以及许可证使用政策感兴趣，请参阅 Yi 与 Llama 的关系。 ⬇️
💡 核心概要
Yi 系列模型采用与 Llama 相同的模型架构，但并非 Llama 的衍生产品。
-
Yi 和 Llama 均基于 Transformer 结构，自 2018 年以来，Transformer 一直是大型语言模型的标准架构。
-
基于 Transformer 架构，Llama 凭借其出色的稳定性、可靠的收敛性和强大的兼容性，已成为大多数最先进开源模型的新基石。这使得 Llama 成为包括 Yi 在内的众多模型公认的基础框架。
-
得益于 Transformer 和 Llama 架构，其他模型能够利用它们的优势，减少了从头开始构建的工作量，并能够在其生态系统中使用相同的工具。
-
然而，Yi 系列模型并非 Llama 的衍生产品，因为它们不使用 Llama 的权重。
-
由于 Llama 的结构被大多数开源模型所采用，因此决定模型性能的关键因素是训练数据集、训练流水线和训练基础设施。
-
Yi 以独特且专有的方式进行开发，完全从头开始独立创建了自己的高质量训练数据集、高效的训练流水线和强大的训练基础设施。这一努力使得 Yi 系列模型取得了卓越的性能，在 2023 年 12 月的 Alpaca 排行榜 上仅次于 GPT4，并超越了 Llama。
-
-
[ 返回顶部 ⬆️ ]
新闻动态
🎯 2024-05-13：Yi-1.5 系列模型正式开源，在代码生成、数学能力、推理能力及指令遵循能力方面均有进一步提升。
🎯 2024-03-16：Yi-9B-200K模型开源并向公众开放。
🎯 2024-03-08：Yi 技术报告发布！
🔔 2024-03-07：Yi-34B-200K 的长文本处理能力得到增强。
在“大海捞针”测试中，Yi-34B-200K 的性能提升了 10.5%，从 89.3% 跃升至令人瞩目的 99.8%。我们持续在 5B tokens 的长上下文数据混合集上对模型进行预训练，展现出近乎全优的性能表现。
🎯 2024-03-06：Yi-9B模型开源并向公众开放。
在一众相似规模的开源模型（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等）中，
Yi-9B表现尤为突出，尤其在代码生成、数学运算、常识推理和阅读理解方面优势显著。
🎯 2024-01-23：Yi-VL 系列模型，Yi-VL-34B 与 Yi-VL-6B，正式开源并向公众开放。
Yi-VL-34B 在最新的基准测试中（包括 MMMU 和 CMMMU），在所有现有开源模型中排名第一（基于 2024 年 1 月可获取的数据）。
🎯 2023-11-23：对话模型开源并向公众开放。
本次发布包含基于先前发布的基础模型构建的两个对话模型，以及两个经 GPTQ 量化的 8 位模型和两个经 AWQ 量化的 4 位模型。
Yi-34B-ChatYi-34B-Chat-4bitsYi-34B-Chat-8bitsYi-6B-ChatYi-6B-Chat-4bitsYi-6B-Chat-8bits
您可以通过以下平台交互式体验部分模型：
- [Hugging Face]
- Replicate
🔔 2023-11-23：Yi 系列模型社区许可协议更新至 v2.1 版本。
🎯 2023-11-05：基础模型 Yi-6B-200K 和 Yi-34B-200K 开源并向公众开放。
本次发布包含两个基础模型，其参数规模与先前版本相同，不同之处在于上下文窗口扩展至 200K。
🎯 2023-11-02：基础模型 Yi-6B 和 Yi-34B 开源并向公众开放。
首次公开发布包含两个双语（英文/中文）基础模型，参数规模分别为 6B 和 34B。两者均以 4K 序列长度进行训练，在推理时可扩展至 32K。
[ 返回顶部 ⬆️ ]
模型介绍
Yi 模型提供多种规格，可满足不同使用场景的需求。您也可以对 Yi 模型进行微调，以适应您的特定要求。
如果您想部署 Yi 模型，请确保满足软硬件要求。
对话模型
| 模型 | 下载地址 |
|---|---|
| Yi-34B-Chat | • 🟣 wisemodel |
| Yi-34B-Chat-4bits | • 🟣 wisemodel |
| Yi-34B-Chat-8bits | • • 🟣 wisemodel |
| Yi-6B-Chat | • 🟣 wisemodel |
| Yi-6B-Chat-4bits | • 🟣 wisemodel |
| Yi-6B-Chat-8bits | • 🟣 wisemodel |
- 4-bit 系列模型采用 AWQ 量化技术。
- 8-bit 系列模型采用 GPTQ 量化技术。
- 所有量化模型均支持消费级 GPU（如 3090、4090）部署，使用门槛低。
基础模型
| 模型 | 下载地址 |
|---|---|
| Yi-34B | • 🟣 wisemodel |
| Yi-34B-200K | • 🟣 wisemodel |
| Yi-9B | • 🟣 wisemodel |
| Yi-9B-200K | • 🟣 wisemodel |
| Yi-6B | • 🟣 wisemodel |
| Yi-6B-200K | • 🟣 wisemodel |
- 200K 上下文窗口约可容纳 40 万个汉字。
- 如需使用 Yi-34B-200K 的历史版本（2023 年 11 月 5 日发布），请执行命令 git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf 下载对应权重。
模型信息
- 对话模型与基础模型通用信息
| 模型 | 简介 | 默认上下文窗口 | 预训练 tokens | 训练数据时间范围 |
|---|---|---|---|---|
| 6B 系列模型 | 适用于个人及学术研究场景。 | 4K | 3T | 截至 2023 年 6 月 |
| 9B 系列模型 | 在 Yi 系列模型中，编码和数学能力表现最佳。 | Yi-9B 在 Yi-6B 基础上持续训练，使用了 0.8T tokens。 | ||
| 34B 系列模型 | 适用于个人、学术研究及商业场景（尤其适合中小企业）。具备涌现能力，性价比高，经济实用。 | 3T |
-
对话模型特有说明
关于对话模型的局限性，请参见以下说明。 ⬇️
- 幻觉现象：指模型生成与事实不符或不合逻辑的信息。由于模型回复更加多样，可能会出现更多基于不准确数据或逻辑推理的幻觉内容。
- 再生不确定性：尝试重新生成或采样回复时，结果可能出现不一致。即使在相似输入条件下，增加的多样性也可能导致不同的输出结果。
- 累积误差：指模型回复中的错误随着时间推移而叠加。当模型生成更多样化的回复时，小的不准确之处在复杂任务（如长程推理、数学解题等）中累积为更大错误的可能性增加。
- 为获得更连贯和一致的回复，建议调整生成配置参数，如 temperature、top_p 或 top_k。这些调整有助于平衡模型输出的创造性与连贯性。
本次发布的对话模型经过专属的监督微调（SFT）训练。与其他标准对话模型相比，本模型能生成更多样化的回复，适用于创意写作等各类下游任务。此外，这种多样性有望提高生成高质量回复的概率，有利于后续的强化学习（RL）训练。
但这种更高的多样性也可能加剧部分现有问题，包括：
[ 返回顶部 ⬆️ ]
如何使用 Yi？
快速开始
Yi 模型的启动和运行十分简单，您有多种选择。
选择使用方式
选择以下任意一种方式，开启您的 Yi 使用之旅！
🎯 本地部署 Yi
如果您希望在本地部署 Yi 模型：
- 🙋♀️ 若您拥有充足的资源（例如，NVIDIA A800 80GB），可选择以下任一方法：
-
🙋♀️ 若您的资源有限（例如，MacBook Pro），可使用 llama.cpp。
🎯 非本地部署 Yi
如果您不希望在本地部署 Yi 模型，可通过以下任一选项体验 Yi 的功能。
🙋♀️ 通过 API 运行 Yi
如果您想探索 Yi 的更多功能，可采用以下任一方法：
-
Yi API（Yi 官方）
- 部分申请者已获得早期访问权限。敬请期待下一轮访问！
-
Yi API（Replicate）
🙋♀️ 在交互平台运行 Yi
如果您想与 Yi 聊天，并需要更多自定义选项（如系统提示词、温度参数、重复惩罚系数等），可尝试以下任一选项：
- Yi-34B-Chat-Playground（Yi 官方）
-
Yi-34B-Chat-Playground（Replicate）
🙋♀️ 与 Yi 聊天
如果您想与 Yi 聊天，可使用以下任一在线服务，它们提供类似的用户体验：
-
[Yi-34B-Chat]（Hugging Face 上的 Yi 官方版本）
- 无需注册。
-
Yi-34B-Chat（Yi 官方测试版）
[ 返回顶部 ⬆️ ]
快速开始 - pip
本教程将引导您完成在 A800（80G）上本地运行 Yi-34B-Chat 并进行推理的每一步。
步骤 0：前提条件
-
确保已安装 Python 3.10 或更高版本。
-
如果您想运行其他 Yi 模型，请参见软硬件要求。
步骤 1：准备环境
要设置环境并安装所需软件包，请执行以下命令。
git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt步骤 2：下载 Yi 模型
您可以从以下来源下载 Yi 模型的权重和分词器：
步骤 3：执行推理
您可以按以下方式使用 Yi 对话模型或基础模型进行推理。
使用 Yi 对话模型执行推理
-
创建一个名为
quick_start.py的文件，并将以下内容复制到其中。python3 examples/inference.py --model_name_or_path=./
使用 Yi 基础模型执行推理
-
Yi-34B
步骤与 pip - 使用 Yi 对话模型执行推理 类似。
您可以使用现有文件
text_generation.py。python demo/text_generation.py --model <your-model-path>
[ 返回顶部 ⬆️ ]
快速开始 - Docker
使用 Docker 在本地运行 Yi-34B-chat：分步指南。 ⬇️
本教程将指导您在本地 A800 GPU 或 4*4090 上运行Yi-34B-Chat并执行推理的每一步。
步骤 0：前提条件
确保您已安装 Docker 和 nvidia-container-toolkit。
步骤 1：启动 Docker
docker run -it --gpus all \
-v <your-model-path>: /models
ghcr.io/01-ai/yi:latest或者，您可以从 registry.lingyiwanwu.com/ci/01-ai/yi:latest 拉取 Yi Docker 镜像。
步骤 2：执行推理
您可以按以下方式使用 Yi 对话模型或基础模型进行推理。
使用 Yi 对话模型执行推理
步骤与 pip - 使用 Yi 对话模型执行推理 类似。
注意，唯一的区别是将 model_path = '<your-model-path>' 设置为 model_path = '<your-model-mount-path>'。
使用 Yi 基础模型执行推理
步骤与 pip - 使用 Yi 基础模型执行推理 类似。
注意，唯一的区别是将 --model <your-model-path> 设置为 --model <your-model-mount-path>。
快速开始 - conda-lock
您可以使用conda-lock为 conda 环境生成完全可复现的锁定文件。⬇️
您可以参考conda-lock.yml获取依赖项的确切版本。此外，您还可以使用
micromamba来安装这些依赖项。
要安装依赖项，请按照以下步骤操作：
-
按照此处提供的说明安装 micromamba。
-
执行
micromamba install -y -n yi -f conda-lock.yml创建名为yi的 conda 环境并安装必要的依赖项。
快速开始 - llama.cpp
以下教程将指导您完成在本地运行量化模型（Yi-chat-6B-2bits）并进行推理的每一步。
使用 llama.cpp 在本地运行 Yi-chat-6B-2bits：分步指南。⬇️
本教程将指导您完成在本地运行量化模型（Yi-chat-6B-2bits）并进行推理的每一步。
步骤 0：前提条件
-
本教程假设您使用的是配备 16GB 内存和 Apple M2 Pro 芯片的 MacBook Pro。
-
确保您的机器上已安装
git-lfs。
步骤 1：下载 llama.cpp
要克隆 llama.cpp 仓库，请运行以下命令。
git clone git@github.com:ggerganov/llama.cpp.git步骤 2：下载 Yi 模型
2.1 若要克隆仅包含指针的 [XeIaso/yi-chat-6B-GGUF]，请运行以下命令。
undefined2.2 若要下载量化后的 Yi 模型（[yi-chat-6b.Q2_K.gguf]），请运行以下命令。
git-lfs pull --include yi-chat-6b.Q2_K.gguf步骤 3：执行推理
要使用 Yi 模型执行推理，您可以采用以下方法之一。
方法 1：在终端中执行推理
若要使用 4 个线程编译 llama.cpp 并进行推理，请导航至 llama.cpp 目录，然后运行以下命令。
提示
将
/Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf替换为您模型的实际路径。默认情况下，模型以补全模式运行。
如需更多输出自定义选项（例如系统提示词、温度、重复惩罚等），请运行
./main -h查看详细说明和用法。
make -j4 && ./main -m /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf -p "How do you feed your pet fox? Please answer this question in 6 simple steps:\nStep 1:" -n 384 -e
...
How do you feed your pet fox? Please answer this question in 6 simple steps:
Step 1: Select the appropriate food for your pet fox. You should choose high-quality, balanced prey items that are suitable for their unique dietary needs. These could include live or frozen mice, rats, pigeons, or other small mammals, as well as fresh fruits and vegetables.
Step 2: Feed your pet fox once or twice a day, depending on the species and its individual preferences. Always ensure that they have access to fresh water throughout the day.
Step 3: Provide an appropriate environment for your pet fox. Ensure it has a comfortable place to rest, plenty of space to move around, and opportunities to play and exercise.
Step 4: Socialize your pet with other animals if possible. Interactions with other creatures can help them develop social skills and prevent boredom or stress.
Step 5: Regularly check for signs of illness or discomfort in your fox. Be prepared to provide veterinary care as needed, especially for common issues such as parasites, dental health problems, or infections.
Step 6: Educate yourself about the needs of your pet fox and be aware of any potential risks or concerns that could affect their well-being. Regularly consult with a veterinarian to ensure you are providing the best care.
...
现在您已成功向 Yi 模型提出问题并获得了答案！🥳
方法 2：通过网页进行推理
-
若要初始化一个轻量且快速的聊天机器人，请运行以下命令。
cd llama.cpp ./server --ctx-size 2048 --host 0.0.0.0 --n-gpu-layers 64 --model /Users/yu/yi-chat-6B-GGUF/yi-chat-6b.Q2_K.gguf随后，您将看到类似如下的输出：
... llama_new_context_with_model: n_ctx = 2048 llama_new_context_with_model: freq_base = 5000000.0 llama_new_context_with_model: freq_scale = 1 ggml_metal_init: allocating ggml_metal_init: found device: Apple M2 Pro ggml_metal_init: picking default device: Apple M2 Pro ggml_metal_init: ggml.metallib not found, loading from source ggml_metal_init: GGML_METAL_PATH_RESOURCES = nil ggml_metal_init: loading '/Users/yu/llama.cpp/ggml-metal.metal' ggml_metal_init: GPU name: Apple M2 Pro ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008) ggml_metal_init: hasUnifiedMemory = true ggml_metal_init: recommendedMaxWorkingSetSize = 11453.25 MB ggml_metal_init: maxTransferRate = built-in GPU ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 128.00 MiB, ( 2629.44 / 10922.67) llama_new_context_with_model: KV self size = 128.00 MiB, K (f16): 64.00 MiB, V (f16): 64.00 MiB ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 0.02 MiB, ( 2629.45 / 10922.67) llama_build_graph: non-view tensors processed: 676/676 llama_new_context_with_model: compute buffer total size = 159.19 MiB ggml_backend_metal_buffer_type_alloc_buffer: allocated buffer, size = 156.02 MiB, ( 2785.45 / 10922.67) Available slots: -> Slot 0 - max context: 2048 llama server listening at http://0.0.0.0:8080 -
要访问聊天机器人界面，请打开您的网页浏览器，并在地址栏中输入
http://0.0.0.0:8080。
-
在提示窗口中输入一个问题，例如“如何喂养您的宠物狐狸？请用 6 个简单步骤回答此问题”，您将收到相应的答案。
[ 返回顶部 ⬆️ ]
Web 演示
您可以为 Yi 对话模型构建 Web UI 演示（请注意，Yi 基础模型在此场景下不支持）。
步骤 3：要在本地启动 Web 服务，请运行以下命令。
python demo/web_demo.py -c <your-model-path>您可以通过将控制台中提供的地址输入浏览器来访问 Web UI。
[ 返回顶部 ⬆️ ]
微调
bash finetune/scripts/run_sft_Yi_6b.sh完成后，您可以使用以下命令比较微调模型和基础模型：
bash finetune/scripts/run_eval.sh如需高级用法（例如基于自定义数据进行微调），请参见以下说明。⬇️
Yi 6B 和 34B 的微调代码
准备工作
基于镜像
默认情况下，我们使用来自 [BAAI/COIG] 的小型数据集对基础模型进行微调。
您也可以按照以下 jsonl 格式准备自定义数据集：
{ "prompt": "Human: Who are you? Assistant:", "chosen": "I'm Yi." }然后将它们挂载到容器中以替换默认文件：
docker run -it \
-v /path/to/save/finetuned/model/:/finetuned-model \
-v /path/to/train.jsonl:/yi/finetune/data/train.json \
-v /path/to/eval.jsonl:/yi/finetune/data/eval.json \
ghcr.io/01-ai/yi:latest \
bash finetune/scripts/run_sft_Yi_6b.sh从本地服务器出发
请确保您已安装 conda。如果尚未安装，请使用
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh
~/miniconda3/bin/conda init bash
source ~/.bashrc然后，创建一个 conda 环境：
conda create -n dev_env python=3.10 -y
conda activate dev_env
pip install torch==2.0.1 deepspeed==0.10 tensorboard transformers datasets sentencepiece accelerate ray==2.7硬件设置
对于 Yi-6B 模型，建议使用配备 4 块 GPU 的节点，每块 GPU 内存需大于 60GB。
对于 Yi-34B 模型，由于 zero-offload 技术的使用会消耗大量 CPU 内存，在进行 34B 模型的微调训练时，请务必注意限制 GPU 的数量。请使用 CUDA_VISIBLE_DEVICES 来限制 GPU 的数量（如 scripts/run_sft_Yi_34b.sh 所示）。
微调 34B 模型的典型硬件配置为：一个节点配备 8 块 GPU（运行时通过 CUDA_VISIBLE_DEVICES=0,1,2,3 限制为 4 块），每块 GPU 内存大于 80GB，且总 CPU 内存大于 900GB。
快速开始
将 LLM 基础模型下载至 MODEL_PATH（6B 和 34B）。模型的典型文件夹结构如下：
|-- $MODEL_PATH
| |-- config.json
| |-- pytorch_model-00001-of-00002.bin
| |-- pytorch_model-00002-of-00002.bin
| |-- pytorch_model.bin.index.json
| |-- tokenizer_config.json
| |-- tokenizer.model
| |-- ...从 huggingface 将数据集下载到本地存储路径 DATA_PATH，例如 Dahoas/rm-static。
|-- $DATA_PATH
| |-- data
| | |-- train-00000-of-00001-2a1df75c6bce91ab.parquet
| | |-- test-00000-of-00001-8c7c51afc6d45980.parquet
| |-- dataset_infos.json
| |-- README.mdfinetune/yi_example_dataset 包含示例数据集，这些数据集基于 [BAAI/COIG] 修改而来。
|-- $DATA_PATH
|--data
|-- train.jsonl
|-- eval.jsonlcd 到 scripts 文件夹，复制粘贴脚本并运行。例如：
cd finetune/scripts
bash run_sft_Yi_6b.sh对于 Yi-6B 基础模型，设置 training_debug_steps=20 和 num_train_epochs=4 即可输出一个对话模型，耗时约 20 分钟。
对于 Yi-34B 基础模型，初始化过程所需时间较长，请耐心等待。
评估
cd finetune/scripts
bash run_eval.sh然后你将看到基础模型和微调模型的答案。
[ 返回顶部 ⬆️ ]
量化
GPT-Q
python quantization/gptq/quant_autogptq.py \
--model /base_model \
--output_dir /quantized_model \
--trust_remote_code完成后，您可以按以下方式评估生成的模型：
python quantization/gptq/eval_quantized_model.py \
--model /quantized_model \
--trust_remote_code详情请参见以下说明。⬇️
python quant_autogptq.py --model /base_model \
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code运行量化模型
您可以使用 eval_quantized_model.py 运行量化模型：
python eval_quantized_model.py --model /quantized_model --trust_remote_codeAWQ
python quantization/awq/quant_autoawq.py \
--model /base_model \
--output_dir /quantized_model \
--trust_remote_code完成后，你可以按以下方式评估生成的模型：
python quantization/awq/eval_quantized_model.py \
--model /quantized_model \
--trust_remote_code详情请参见以下说明。⬇️
python quant_autoawq.py --model /base_model \
--output_dir /quantized_model --bits 4 --group_size 128 --trust_remote_code运行量化模型
您可以使用 eval_quantized_model.py 运行量化模型：
python eval_quantized_model.py --model /quantized_model --trust_remote_code[ 返回顶部 ⬆️ ]
部署
若要部署 Yi 模型，请确保满足相应的软硬件要求。
软件要求
在使用 Yi 量化模型前，请确保已安装以下正确的软件。
| 模型 | 软件 |
|---|---|
| Yi 4位量化模型 | AWQ 和 CUDA |
| Yi 8位量化模型 | GPTQ 和 CUDA |
硬件要求
在环境中部署 Yi 模型前，请确保硬件满足以下要求。
对话模型
| 模型 | 最低显存 | 推荐 GPU 示例 |
|---|---|---|
| Yi-6B-Chat | 15 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) |
| Yi-6B-Chat-4bits | 4 GB | 1 x RTX 3060 (12 GB) 1 x RTX 4060 (8 GB) |
| Yi-6B-Chat-8bits | 8 GB | 1 x RTX 3070 (8 GB) 1 x RTX 4060 (8 GB) |
| Yi-34B-Chat | 72 GB | 4 x RTX 4090 (24 GB) 1 x A800 (80GB) |
| Yi-34B-Chat-4bits | 20 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) 1 x A100 (40 GB) |
| Yi-34B-Chat-8bits | 38 GB | 2 x RTX 3090 (24 GB) 2 x RTX 4090 (24 GB) 1 x A800 (40 GB) |
以下是不同批处理场景下的详细最低显存要求。
| 模型 | batch=1 | batch=4 | batch=16 | batch=32 |
|---|---|---|---|---|
| Yi-6B-Chat | 12 GB | 13 GB | 15 GB | 18 GB |
| Yi-6B-Chat-4bits | 4 GB | 5 GB | 7 GB | 10 GB |
| Yi-6B-Chat-8bits | 7 GB | 8 GB | 10 GB | 14 GB |
| Yi-34B-Chat | 65 GB | 68 GB | 76 GB | > 80 GB |
| Yi-34B-Chat-4bits | 19 GB | 20 GB | 30 GB | 40 GB |
| Yi-34B-Chat-8bits | 35 GB | 37 GB | 46 GB | 58 GB |
基础模型
| 模型 | 最低显存 | 推荐 GPU 示例 |
|---|---|---|
| Yi-6B | 15 GB | 1 x RTX 3090 (24 GB) 1 x RTX 4090 (24 GB) 1 x A10 (24 GB) 1 x A30 (24 GB) |
| Yi-6B-200K | 50 GB | 1 x A800 (80 GB) |
| Yi-9B | 20 GB | 1 x RTX 4090 (24 GB) |
| Yi-34B | 72 GB | 4 x RTX 4090 (24 GB) 1 x A800 (80 GB) |
| Yi-34B-200K | 200 GB | 4 x A800 (80 GB) |
[ 返回顶部 ⬆️ ]
常见问题解答
在使用 Yi 系列模型过程中，若您遇到任何问题，以下提供的答案或许能为您提供有益的参考。⬇️
💡微调
- 应该微调基础模型还是对话模型？
选择哪种预训练语言模型进行微调，取决于您拥有的计算资源以及具体的任务需求。- 如果您有大量的微调数据（例如超过 10,000 样本），基础模型可能是您的首选。
- 另一方面，如果您的微调数据量不是很庞大，选择对话模型可能更为合适。
- 通常建议同时微调基础模型和对话模型，比较它们的性能，然后选择最符合您特定需求的模型。
- 全量微调 Yi-34B 和 Yi-34B-Chat 有什么区别？
对Yi-34B和Yi-34B-Chat进行全量微调的主要区别在于微调方法和结果。- Yi-34B-Chat 采用了特定微调（SFT）方法，生成的回复更贴近人类对话风格。
- 基础模型的微调更具通用性，具有相对较高的性能潜力。
- 如果您对自己的数据质量有信心，
Yi-34B可能是微调的首选。 - 如果您希望模型生成的回复更能模仿人类对话风格，或者对自己的数据质量存疑，
Yi-34B-Chat可能是您的最佳选择。
💡量化
- 量化模型与原始模型的性能差距有多大？
- 性能差异很大程度上取决于所采用的量化方法以及这些模型的具体使用场景。例如，对于 AWQ 官方提供的模型，从基准测试（Benchmark）的角度来看，量化可能会导致几个百分点的轻微性能下降。
- 主观而言，在逻辑推理等场景中，即使 1% 的性能变化也可能影响输出结果的准确性。
💡一般问题
-
哪里可以获取微调问答数据集？
- 您可以在 Hugging Face 等平台上找到微调问答数据集，例如 [m-a-p/COIG-CQIA] 等数据集。
- 此外，Github 上有微调框架，如 hiyouga/LLaMA-Factory，其中集成了现成的数据集。
-
微调 Yi-34B FP16 需要多少 GPU 内存？
微调 34B FP16 所需的 GPU 内存取决于所采用的具体微调方法。对于全参数微调，您需要 8 块各 80 GB 显存的 GPU；然而，像 Lora 这样更经济的方案则需要更少的显存。有关更多详细信息，请查看 hiyouga/LLaMA-Factory。另外，考虑使用 BF16 而非 FP16 进行微调以优化性能。 -
是否有第三方平台支持 Yi-34b-200k 模型的对话功能？
如果您正在寻找第三方对话平台，可选择 fireworks.ai。
学习中心
如果您想学习 Yi，这里有丰富的教育资源供您参考。⬇️
欢迎来到 Yi 学习中心！
无论您是经验丰富的开发者还是新手，都能在这里找到大量有助于提升 Yi 模型理解和使用技能的教育资源，包括富有洞察力的博客文章、全面的视频教程、实操指南等。
您在这里看到的内容由知识渊博的 Yi 专家和热情的爱好者慷慨贡献。我们对您的宝贵贡献表示衷心的感谢！
同时，我们也热烈邀请您加入 Yi 的贡献行列。如果您已经为 Yi 做出了贡献，请随时在下方表格中展示您的杰出成果。
有了这些资源，您已准备好开启精彩的 Yi 探索之旅。祝您学习愉快！🥳
教程
博客教程
GitHub 项目
| 成果 | 日期 | 作者 |
|---|---|---|
| yi-openai-proxy | 2024-05-11 | 苏洋 |
| 基于零一万物 Yi 模型和 B 站构建大语言模型高质量训练数据集 | 2024-04-29 | 正经人王同学 |
| 基于视频网站和零一万物大模型构建大语言模型高质量训练数据集 | 2024-04-25 | 正经人王同学 |
| 基于零一万物yi-34b-chat-200k输入任意文章地址，点击按钮即可生成无广告或推广内容的简要笔记，并生成分享图给好友 | 2024-04-24 | 正经人王同学 |
| Food-GPT-Yi-model | 2024-04-21 | Hubert S |
视频教程
为何选择 Yi？
生态系统
Yi 拥有完善的生态系统，提供一系列工具、服务和模型，旨在丰富您的使用体验并提升工作效率。
上游
Yi 系列模型采用与 Llama 相同的模型架构。选择 Yi，您可以直接利用 Llama 生态系统中现有的工具、库和资源，无需重新开发新工具，从而提高开发效率。
例如，Yi 系列模型以 Llama 模型的格式进行保存。您可以直接使用 LlamaForCausalLM 和 LlamaTokenizer 来加载模型。更多信息，请参见 使用对话模型。
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("01-ai/Yi-34b", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("01-ai/Yi-34b", device_map="auto")[ 返回顶部 ⬆️ ]
下游应用
💡 提示
欢迎创建 PR，分享您使用 Yi 系列模型构建的出色成果。
为帮助他人快速了解您的工作，建议使用
<model-name>: <model-intro> + <model-highlights>的格式。
部署服务
如果您希望在几分钟内快速上手 Yi，可使用以下基于 Yi 构建的服务。
-
Yi-34B-Chat：您可以通过以下平台与 Yi 进行对话：
- Yi-34B-Chat | Yi 平台：注意 目前该平台仅对白名单用户开放。欢迎申请（填写 英文 或 中文 表单）并亲身体验！
-
Yi-6B-Chat (Replicate)：您可以通过设置额外参数和调用 API，使用更多选项来运行此模型。
-
ScaleLLM：您可以使用此服务在本地运行 Yi 模型，并获得更高的灵活性和自定义能力。
量化
如果您的计算资源有限，可以按以下方式使用 Yi 的量化模型。
这些量化模型降低了精度，但提高了效率，例如更快的推理速度和更小的内存占用。
- [TheBloke/Yi-34B-GPTQ]
- [TheBloke/Yi-34B-GGUF]
- [TheBloke/Yi-34B-AWQ]
微调
如果您希望探索 Yi 繁荣生态中的多样化能力，可以深入了解以下 Yi 的微调模型。
-
[TheBloke Models]：该网站托管了众多基于包括 Yi 在内的各种 LLM 微调的模型。
这并非 Yi 的完整列表，以下是部分按下载量排序的模型：
- [TheBloke/dolphin-2_2-yi-34b-AWQ]
- [TheBloke/Yi-34B-Chat-AWQ]
- [TheBloke/Yi-34B-Chat-GPTQ]
-
[SUSTech/SUS-Chat-34B]：该模型在所有 70B 以下模型中排名第一，并且性能优于两倍规模的 deepseek-llm-67b-chat。您可以在 [Open LLM Leaderboard] 上查看结果。
-
[OrionStarAI/OrionStar-Yi-34B-Chat-Llama]：在 OpenCompass LLM 排行榜 的 C-Eval 和 CMMLU 评估中，该模型表现优于其他模型（如 GPT-4、Qwen-14B-Chat、Baichuan2-13B-Chat）。
-
[NousResearch/Nous-Capybara-34B]：该模型在 Capybara 数据集上以 200K 上下文长度训练了 3 个 epoch。
API
- amazing-openai-api：此工具可将 Yi 模型 API 直接转换为 OpenAI API 格式。
- LlamaEdge：此工具利用 Rust 技术，通过可移植的 Wasm（WebAssembly）文件为 Yi-34B-Chat 构建兼容 OpenAI 的 API 服务器。
[ 返回顶部 ⬆️ ]
技术报告
有关 Yi 系列模型的详细能力，请参见 Yi: Open Foundation Models by 01.AI。
引用
@misc{ai2024yi,
title={Yi: Open Foundation Models by 01.AI},
author={01. AI and : and Alex Young and Bei Chen and Chao Li and Chengen Huang and Ge Zhang and Guanwei Zhang and Heng Li and Jiangcheng Zhu and Jianqun Chen and Jing Chang and Kaidong Yu and Peng Liu and Qiang Liu and Shawn Yue and Senbin Yang and Shiming Yang and Tao Yu and Wen Xie and Wenhao Huang and Xiaohui Hu and Xiaoyi Ren and Xinyao Niu and Pengcheng Nie and Yuchi Xu and Yudong Liu and Yue Wang and Yuxuan Cai and Zhenyu Gu and Zhiyuan Liu and Zonghong Dai},
year={2024},
eprint={2403.04652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}基准测试
对话模型性能
Yi-34B-Chat模型表现出卓越性能，在包括MMLU、CMMLU、BBH、GSM8k等在内的基准测试中，均位列所有现有开源模型之首。
评估方法与挑战。⬇️
- 评估方法：除TruthfulQA外，我们采用零样本（zero-shot）和少样本（few-shot）两种方法对各类基准测试进行了评估。
- 零样本与少样本：在对话模型中，零样本方法更为常用。
- 评估策略：我们的评估策略包括在明确或隐含遵循指令（如使用少样本示例）的情况下生成响应，然后从生成文本中提取相关答案。
- 面临的挑战：部分模型难以按照少数数据集指令要求的特定格式生成输出，从而导致结果欠佳。
*：C-Eval结果基于验证数据集进行评估
基础模型性能
Yi-34B 和 Yi-34B-200K
Yi-34B和Yi-34B-200K模型在开源模型中表现突出，尤其在MMLU、CMMLU、常识推理、阅读理解等方面表现卓越。
评估方法。⬇️
- 结果差异：在对开源模型进行基准测试时，我们的评估 pipeline 得出的结果与 OpenCompass 等公开来源报告的结果存在差异。
- 调查发现：深入调查显示，不同模型在提示词、后处理策略和采样技术上的差异可能导致结果出现显著不同。
- 统一基准测试流程：我们的方法与原始基准测试保持一致——使用统一的提示词和后处理策略，评估过程中采用贪婪解码（greedy decoding），且不对生成内容进行任何后处理。
- 获取未报告分数的努力：对于原作者未报告的分数（包括在不同设置下报告的分数），我们尝试通过我们的 pipeline 获取结果。
- 全面的模型评估：为全面评估模型能力，我们采用了 Llama2 中概述的方法。具体而言，我们纳入了 PIQA、SIQA、HellaSwag、WinoGrande、ARC、OBQA 和 CSQA 以评估常识推理能力；纳入了 SquAD、QuAC 和 BoolQ 以评估阅读理解能力。
- 特殊配置：CSQA 仅采用7-shot设置进行测试，其他所有测试均采用0-shot配置。此外，我们在“数学与代码”类别下引入了 GSM8K（8-shot@1）、MATH（4-shot@1）、HumanEval（0-shot@1）和 MBPP（3-shot@1）。
- Falcon-180B 说明：由于技术限制，Falcon-180B 未在 QuAC 和 OBQA 上进行测试。其性能分数为其他任务的平均值，考虑到这两个任务的分数通常较低，Falcon-180B 的能力可能未被低估。
Yi-9B
Yi-9B 在一系列相似规模的开源模型（包括 Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 等）中几乎表现最佳，尤其在代码、数学、常识推理和阅读理解方面表现突出。
-
在整体能力（Mean-All）方面，Yi-9B 在相似规模的开源模型中表现最佳，超过了 DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B 和 Gemma-7B。
-
在代码能力（Mean-Code）方面，Yi-9B 的性能仅次于 DeepSeek-Coder-7B，超过了 Yi-34B、SOLAR-10.7B、Mistral-7B 和 Gemma-7B。
-
在数学能力（Mean-Math）方面，Yi-9B 的性能仅次于 DeepSeek-Math-7B，超过了 SOLAR-10.7B、Mistral-7B 和 Gemma-7B。
-
在常识与推理能力（Mean-Text）方面，Yi-9B 的性能与 Mistral-7B、SOLAR-10.7B 和 Gemma-7B 相当。
[ 返回顶部 ⬆️ ]
谁可以使用 Yi？
所有人都可以！🙌 ✅
Yi 系列模型的代码和权重遵循 Apache 2.0 许可证 进行分发，这意味着 Yi 系列模型可免费用于个人用途、学术研究以及商业应用。
[ 返回顶部 ⬆️ ]
其他
致谢
衷心感谢每一位为 Yi 社区做出贡献的成员！是你们的努力让 Yi 不仅仅是一个项目，更成为了一个充满活力、不断发展的创新家园。
[ 返回顶部 ⬆️ ]
免责声明
在训练过程中，我们使用数据合规性检查算法，以尽最大努力确保训练后模型的合规性。由于数据的复杂性以及语言模型使用场景的多样性，我们无法保证模型在所有场景下都能生成正确且合理的输出。请注意，模型仍存在产生问题输出的风险。对于因误用、误导、非法使用、相关错误信息以及任何相关数据安全问题所导致的任何风险和问题，我们不承担责任。
[ 返回顶部 ⬆️ ]
许可证
Yi-1.5 系列模型的代码和权重遵循 Apache 2.0 许可证 进行分发。
如果您基于此模型创建衍生作品，请在您的衍生作品中包含以下归属声明：
本作品是基于 01.AI 的 [The Yi Series Model You Base On] 创作的衍生作品，使用遵循 Apache 2.0 许可证。
[ 返回顶部 ⬆️ ]