Chinese-LLaMA-2-1.3B

这是完整的 Chinese-LLaMA-2-1.3B 模型，可直接加载用于推理和全参数训练。

相关模型👇

• 长上下文基础模型（16K）
  • [Chinese-LLaMA-2-7B-16K (full model)]
  • [Chinese-LLaMA-2-LoRA-7B-16K (LoRA model)]
  • [Chinese-LLaMA-2-13B-16K (full model)]
  • [Chinese-LLaMA-2-LoRA-13B-16K (LoRA model)]
• 长上下文指令/对话模型
  • [Chinese-Alpaca-2-7B-16K (full model)]
  • [Chinese-Alpaca-2-LoRA-7B-16K (LoRA model)]
  • [Chinese-Alpaca-2-13B-16K (full model)]
  • [Chinese-Alpaca-2-LoRA-13B-16K (LoRA model)]
• 基础模型
  • [Chinese-LLaMA-2-7B (full model)]
  • [Chinese-LLaMA-2-LoRA-7B (LoRA model)]
  • [Chinese-LLaMA-2-13B (full model)]
  • [Chinese-LLaMA-2-LoRA-13B (LoRA model)]
• 指令/对话模型
  • [Chinese-Alpaca-2-7B (full model)]
  • [Chinese-Alpaca-2-LoRA-7B (LoRA model)]
  • [Chinese-Alpaca-2-13B (full model)]
  • [Chinese-Alpaca-2-LoRA-13B (LoRA model)]

Chinese-LLaMA-Alpaca-2 说明

本项目基于 Meta 发布的 Llama-2，是中文 LLaMA & Alpaca 大语言模型项目的第二代。我们开源了 Chinese LLaMA-2（基础模型）和 Alpaca-2（指令跟随模型）。这些模型在原始 Llama-2 的基础上扩展并优化了中文词汇表。我们使用大规模中文数据进行增量预训练，进一步提升了对中文语言的基础语义理解能力，与第一代模型相比性能有显著提升。相关模型支持 4K 上下文长度，并可通过 NTK 方法扩展至 18K+。

本项目主要内容包括：

• 🚀 在 Llama-2 基础上新增扩展中文词汇表，开源 Chinese LLaMA-2 和 Alpaca-2 大语言模型。
• 🚀 开源预训练和指令微调（SFT）脚本，方便用户在自有数据上进一步调优。
• 🚀 可在个人电脑的 CPU/GPU 上快速部署和体验量化后的大语言模型。
• 🚀 支持 LLaMA 生态系统，如 🤗transformers、llama.cpp、text-generation-webui、LangChain、vLLM 等。

详情请参考 https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/。