HuggingFace镜像/gemma-2-9b-it
模型介绍文件和版本分析
下载使用量0

提醒:请使用开发版Transformers:

pip install transformers

通过Unsloth,将Gemma、Llama 3、Mistral的微调速度提升2-5倍,内存占用减少70%!

借助bitsandbytes直接量化4bit模型。

我们为Gemma 2(9B) 准备了Google Colab Tesla T4笔记本:https://colab.research.google.com/drive/1vIrqH5uYDQwsJ4-OO3DErvuv4pBgVwk4?usp=sharing

✨ 免费微调

所有笔记本都对初学者友好!添加您的数据集,点击“全部运行”,您将获得一个速度提升2倍的微调模型,该模型可导出为GGUF、vLLM格式。

Unsloth支持的模型免费笔记本性能提升内存占用减少
Llama 3 (8B)▶️ 在Colab上开始2.4倍58%
Gemma 2 (9B)▶️ 在Colab上开始2倍63%
Mistral (9B)▶️ 在Colab上开始2.2倍62%
Phi 3 (mini)▶️ 在Colab上开始2倍63%
TinyLlama▶️ 在Colab上开始3.9倍74%
CodeLlama (34B) A100▶️ 在Colab上开始1.9倍27%
Mistral (7B) 1xT4▶️ 在Kaggle上开始5倍*62%
DPO - Zephyr▶️ 在Colab上开始1.9倍19%
  • 此对话式笔记本适用于ShareGPT ChatML / Vicuna模板。
  • 此文本补全笔记本适用于原始文本。此DPO笔记本可复现Zephyr。
  • * Kaggle提供2个T4,但我们仅使用1个。由于开销原因,单T4可实现5倍速度提升。