Code Llama 是一系列预训练和微调的生成式文本模型，规模从 70 亿到 700 亿参数不等。这是 Hugging Face Transformers 格式中基础 70B 版本的存储库。该模型专为通用代码合成和理解而设计。其他模型的链接可在底部的索引中找到。
[!NOTE] 这是一个非官方的 Code Llama 仓库。您可以在 Meta Llama 组织 中找到官方的 Meta 仓库。
要使用此模型，请确保安装 transformers。
pip install transformers accelerate模型能力:
*注意：该模型的使用受 Meta 许可证的约束。Meta 开发并公开发布了 Code Llama 系列大型语言模型（LLMs）。
模型开发者 Meta
变体 Code Llama 有四种模型大小和三种变体：
所有变体均提供 7B、13B、34B 和 70B 参数大小。
本仓库包含 70B 参数模型的基础版本。
输入 模型仅接受文本输入。
输出 模型仅生成文本输出。
模型架构 Code Llama 是一种自回归语言模型，采用优化的 transformer 架构。它在微调时支持最多 16k 个 token，推理时支持最多 100k 个 token。
模型日期 Code Llama 及其变体在 2023 年 1 月至 2024 年 1 月期间进行了训练。
状态 这是一个基于离线数据集训练的静态模型。随着我们根据社区反馈改进模型安全性，未来将发布 Code Llama - Instruct 的新版本。
许可证 自定义商业许可证可在以下网址获取：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
研究论文 更多信息可在论文“Code Llama: Open Foundation Models for Code”或其 arXiv 页面中找到。
预期使用场景 Code Llama 及其变体旨在用于英语及相关编程语言的商业和研究用途。基础模型 Code Llama 可适应各种代码合成和理解任务，Code Llama - Python 专为处理 Python 编程语言设计，Code Llama - Instruct 旨在更安全地用于代码助手和生成应用。
超出范围的用途 以任何违反适用法律或法规（包括贸易合规法律）的方式使用。使用非英语语言。以 Code Llama 及其变体的可接受使用政策和许可协议所禁止的任何其他方式使用。
训练因素 我们使用了自定义训练库。已发布的模型的训练和微调已在 Meta 的研究超级集群上完成。
碳足迹 总体而言，训练所有 12 个 Code Llama 模型需要 1400K GPU 小时的 A100-80GB 硬件（TDP 为 350-400W）计算。估计总排放量为 228.55 tCO2eq，100% 由 Meta 的可持续发展计划抵消。
请参阅研究论文第 3 节中的主要模型评估和详细消融实验，以及第 4 节中的安全性评估。
Code Llama 及其变体是一种新技术，使用时存在风险。迄今为止的测试均在英语环境中进行，并未涵盖所有场景。因此，与所有 LLMs 一样，Code Llama 的潜在输出无法提前预测，模型在某些情况下可能会对用户提示产生不准确或令人反感的响应。因此，在部署任何 Code Llama 应用之前，开发者应针对其特定应用进行安全测试和调整。
请参阅可用的负责任使用指南：https://ai.meta.com/llama/responsible-use-guide。