模型详情

Meta 开发并发布了 Meta Llama 3 系列大型语言模型（LLMs），这是一组预训练和指令调优的生成式文本模型，包含 80 亿和 700 亿参数两种规模。Llama 3 指令调优模型针对对话场景进行了优化，在常见行业基准测试中表现优于许多现有的开源聊天模型。此外，在开发这些模型时，我们非常注重优化其有用性和安全性。

模型开发者 Meta

模型变体 Llama 3 有两种规模——80 亿和 700 亿参数，分别提供预训练和指令调优版本。

输入 模型仅输入文本。

输出 模型仅生成文本和代码。

模型架构 Llama 3 是一种自回归语言模型，采用优化的 transformer 架构。调优版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF），以对齐人类对有用性和安全性的偏好。

Llama 3 模型系列。令牌数量仅指预训练数据。80 亿和 700 亿版本均使用分组查询注意力（GQA）以提高推理可扩展性。

模型发布日期 2024 年 4 月 18 日。

状态 这是一个在离线数据集上训练的静态模型。随着我们利用社区反馈改进模型安全性，未来将发布调优模型的更新版本。

许可证 自定义商业许可证可在以下地址获取：https://llama.meta.com/llama3/license

关于模型的问题或意见反馈渠道 有关如何提供模型反馈或意见的说明，请参见模型 README。有关生成参数的更多技术信息以及如何在应用程序中使用 Llama 3 的方法，请访问 此处。

预期用途

预期使用场景 Llama 3 旨在用于英语的商业和研究用途。指令调优模型适用于类助手聊天场景，而预训练模型可适配多种自然语言生成任务。

超出范围 以任何违反适用法律法规（包括贸易合规法律）的方式使用。以任何其他被《可接受使用政策》和《Llama 3 社区许可证》禁止的方式使用。使用英语以外的语言**。

**注意：开发者可以对 Llama 3 模型进行微调以支持英语以外的语言，前提是他们遵守《Llama 3 社区许可证》和《可接受使用政策》。

如何使用

本仓库包含 Meta-Llama-3-70B-Instruct 的两个版本，分别用于 transformers 和原始 llama3 代码库。

与 transformers 一起使用

以下是使用 Transformers 的代码片段：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

与 llama3 配合使用

请按照 仓库 中的说明操作。

要下载原始检查点，请参见以下使用 huggingface-cli 的示例命令：

huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "original/*" --local-dir Meta-Llama-3-70B-Instruct

若需 Hugging Face 支持，建议使用 transformers 或 TGI，类似的命令同样适用。

硬件与软件

训练要素 我们使用了自定义训练库、Meta 的 Research SuperCluster 以及生产集群进行预训练。微调、标注和评估也在第三方云服务器上完成。

碳足迹 预训练在 H100-80GB 类型的硬件（TDP 为 700W）上累计使用了 770 万 GPU 小时的计算资源。估计总排放量为 2290 吨二氧化碳当量，其中 100% 已通过 Meta 的可持续发展计划抵消。

预训练期间的二氧化碳排放。时间：训练每个模型所需的总 GPU 时间。功耗：所用 GPU 每台设备的峰值功率容量，并已根据电源使用效率进行调整。100% 的排放量已通过 Meta 的可持续发展计划直接抵消，并且由于我们公开发布了这些模型，其他人无需再承担预训练成本。

训练数据

概述 Llama 3 是在超过 15 万亿个来自公开可用来源的 token 上进行预训练的。微调数据包括公开可用的指令数据集，以及超过 1000 万个人工标注示例。预训练和微调数据集均不包含 Meta 用户数据。

数据时效性 7B 模型的预训练数据截止日期为 2023 年 3 月，70B 模型的预训练数据截止日期为 2023 年 12 月。

基准测试

在本节中，我们报告 Llama 3 模型在标准自动基准测试中的结果。所有评估均使用我们的内部评估库。有关方法的详细信息，请参见此处。

基础预训练模型

指令调优模型

责任与安全

我们相信，开放的人工智能方法能够催生更优质、更安全的产品，加速创新，并拓展整体市场规模。我们致力于负责任地开发人工智能，并已采取一系列措施来限制滥用和危害，同时支持开源社区的发展。

基础模型是功能广泛的技术，旨在用于各种不同的应用场景。它们并非设计为开箱即用地满足所有开发者在所有用例中的安全级别偏好，因为这些偏好本质上会因不同应用而异。

相反，负责任的大型语言模型应用部署是通过在这类应用的整个开发过程中实施一系列安全最佳实践来实现的，从模型预训练、微调，到部署包含安全防护措施的系统，以专门针对特定用例和受众定制安全需求。

作为Llama 3发布的一部分，我们更新了《负责任使用指南》，概述了开发者为其应用实现模型和系统级安全的步骤与最佳实践。我们还提供了一系列资源，包括Meta Llama Guard 2和Code Shield防护工具。这些工具已被证明能够大幅降低大型语言模型系统的残余风险，同时保持高水平的有用性。我们鼓励开发者根据自身需求调整和部署这些防护措施，并提供了参考实现以帮助您快速上手。

Llama 3-Instruct

正如《负责任使用指南》中所述，模型的有用性和模型的对齐之间可能不可避免地存在一些权衡。开发者应审慎考虑如何根据其特定用例和受众来权衡对齐和有用性的益处。开发者在使用Llama模型时应注意残余风险，并在需要时利用额外的安全工具，以达到其用例所需的适当安全标准。

安全性

对于我们的指令调优模型，我们进行了广泛的红队演练，执行了对抗性评估，并实施了安全缓解技术以降低残余风险。与任何大型语言模型一样，残余风险可能仍然存在，我们建议开发者在其特定用例背景下评估这些风险。同时，我们正与社区合作，使人工智能安全基准标准更加透明、严谨和可解释。

拒绝回答

除了残余风险外，我们还高度重视模型对良性提示的拒绝回答问题。过度拒绝不仅会影响用户体验，在某些情况下甚至可能造成危害。我们听取了开发者社区的反馈，并改进了我们的微调过程，以确保Llama 3比Llama 2更不容易错误地拒绝回答提示。

我们建立了内部基准，并开发了缓解措施来限制错误拒绝，使Llama 3成为我们迄今为止最有用的模型。

负责任发布

除了上述负责任使用的考虑因素外，我们遵循了严格的流程，要求我们在做出发布决定之前，针对滥用和关键风险采取额外措施。

滥用

如果您访问或使用Llama 3，您同意遵守《可接受使用政策》。该政策的最新版本可在https://llama.meta.com/llama3/use-policy/获取。

关键风险

CBRNE（化学、生物、放射、核及高当量爆炸物）

我们对模型在该领域的安全性进行了两方面评估：

• 在模型训练期间进行迭代测试，以评估与CBRNE威胁和其他对抗性风险相关的响应安全性。
• 邀请外部CBRNE专家进行提升测试，通过参考使用网络搜索（不使用模型）所能获得的信息，评估模型准确提供专业知识和减少潜在CBRNE滥用障碍的能力。

网络安全

我们使用 Meta 的网络安全安全评估套件 CyberSecEval 对 Llama 3 进行了评估，衡量 Llama 3 在作为编码助手时建议不安全代码的倾向，以及其在被请求协助实施网络攻击时的顺从倾向（其中攻击由行业标准 MITRE ATT&CK 网络攻击本体定义）。在不安全编码和网络攻击协助测试中，Llama 3 的表现与同等编码能力的模型相当或更安全。

儿童安全

儿童安全风险评估由专家团队进行，旨在评估模型生成可能导致儿童安全风险的输出的能力，并通过微调告知任何必要和适当的风险缓解措施。在 Llama 3 模型开发过程中，我们利用这些专家红队演练来扩展评估基准的覆盖范围。针对 Llama 3，我们采用基于目标的方法进行了新的深入评估，从多个攻击向量评估模型风险。我们还与内容专家合作进行红队演练，评估潜在的违规内容，同时考虑到特定市场的细微差别或经验。

社区

生成式 AI 安全需要专业知识和工具，我们相信开放社区的力量能够加速其发展。我们是开放联盟的活跃成员，包括 AI 联盟、AI 合作伙伴关系和 MLCommons，积极参与安全标准化和透明度工作。我们鼓励社区采用诸如 MLCommons 概念验证评估等分类法，以促进安全和内容评估方面的协作与透明度。我们的 Purple Llama 工具已开源供社区使用，并通过包括云服务提供商在内的生态系统合作伙伴广泛分发。我们鼓励社区为我们的 Github 仓库 做出贡献。

最后，我们提供了一系列资源，包括输出报告机制和漏洞赏金计划，以在社区的帮助下持续改进 Llama 技术。

伦理考量与局限性

Llama 3 的核心价值观是开放、包容和助益。它旨在服务于每一个人，并适用于广泛的使用场景。因此，其设计初衷是让来自不同背景、拥有不同经验和观点的人们都能便捷使用。Llama 3 以用户本身及其需求为出发点，不加入不必要的评判或规范性内容，同时认识到某些在特定情况下可能看似有问题的内容，在其他场景下可能具有重要价值。它尊重所有用户的尊严和自主权，尤其尊重推动创新与进步的自由思想和表达价值。

然而，Llama 3 是一项新技术，与任何新技术一样，其使用也伴随着风险。迄今为止的测试均以英语进行，尚未涵盖且也无法涵盖所有场景。出于这些原因，与所有大型语言模型（LLM）一样，Llama 3 的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署任何基于 Llama 3 模型的应用程序之前，开发人员应针对其特定的模型应用场景进行安全测试和优化。如《负责任使用指南》中所述，我们建议将 Purple Llama 解决方案整合到您的工作流程中，特别是 Llama Guard，它提供了一个基础模型来过滤输入和输出提示，从而在模型级安全之上增加系统级安全层。

详情请参见《负责任使用指南》，网址为 http://llama.meta.com/responsible-use-guide

引用说明

@article{llama3modelcard,

title={Llama 3 Model Card},

author={AI@Meta},

year={2024},

url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}

}

贡献者

Aaditya Singh；Aaron Grattafiori；Abhimanyu Dubey；Abhinav Jauhri；Abhinav Pandey；Abhishek Kadian；Adam Kelsey；Adi Gangidi；Ahmad Al-Dahle；Ahuva Goldstand；Aiesha Letman；Ajay Menon；Akhil Mathur；Alan Schelten；Alex Vaughan；Amy Yang；Andrei Lupu；Andres Alvarado；Andrew Gallagher；Andrew Gu；Andrew Ho；Andrew Poulton；Andrew Ryan；Angela Fan；Ankit Ramchandani；Anthony Hartshorn；Archi Mitra；Archie Sravankumar；Artem Korenev；Arun Rao；Ashley Gabriel；Ashwin Bharambe；Assaf Eisenman；Aston Zhang；Aurelien Rodriguez；Austen Gregerson；Ava Spataru；Baptiste Roziere；Ben Maurer；Benjamin Leonhardi；Bernie Huang；Bhargavi Paranjape；Bing Liu；Binh Tang；Bobbie Chern；Brani Stojkovic；Brian Fuller；Catalina Mejia Arenas；Chao Zhou；Charlotte Caucheteux；Chaya Nayak；Ching-Hsiang Chu；Chloe Bi；Chris Cai；Chris Cox；Chris Marra；Chris McConnell；Christian Keller；Christoph Feichtenhofer；Christophe Touret；Chunyang Wu；Corinne Wong；Cristian Canton Ferrer；Damien Allonsius；Daniel Kreymer；Daniel Haziza；Daniel Li；Danielle Pintz；Danny Livshits；Danny Wyatt；David Adkins；David Esiobu；David Xu；Davide Testuggine；Delia David；Devi Parikh；Dhruv Choudhary；Dhruv Mahajan；Diana Liskovich；Diego Garcia-Olano；Diego Perino；Dieuwke Hupkes；Dingkang Wang；Dustin Holland；Egor Lakomkin；Elina Lobanova；Xiaoqing Ellen Tan；Emily Dinan；Eric Smith；Erik Brinkman；Esteban Arcaute；Filip Radenovic；Firat Ozgenel；Francesco Caggioni；Frank Seide；Frank Zhang；Gabriel Synnaeve；Gabriella Schwarz；Gabrielle Lee；Gada Badeer；Georgia Anderson；Graeme Nail；Gregoire Mialon；Guan Pang；Guillem Cucurell；Hailey Nguyen；Hannah Korevaar；Hannah Wang；Haroun Habeeb；Harrison Rudolph；Henry Aspegren；Hu Xu；Hugo Touvron；Iga Kozlowska；Igor Molybog；Igor Tufanov；Iliyan Zarov；Imanol Arrieta Ibarra；Irina-Elena Veliche；Isabel Kloumann；Ishan Misra；Ivan Evtimov；Jacob Xu；Jade Copet；Jake Weissman；Jan Geffert；Jana Vranes；Japhet Asher；Jason Park；Jay Mahadeokar；Jean-Baptiste Gaya；Jeet Shah；Jelmer van der Linde；Jennifer Chan；Jenny Hong；Jenya Lee；Jeremy Fu；Jeremy Teboul；Jianfeng Chi；Jianyu Huang；Jie Wang；Jiecao Yu；Joanna Bitton；Joe Spisak；Joelle Pineau；Jon Carvill；Jongsoo Park；Joseph Rocca；Joshua Johnstun；Junteng Jia；Kalyan Vasuden Alwala；Kam Hou U；Kate Plawiak；Kartikeya Upasani；Kaushik Veeraraghavan；Ke Li；Kenneth Heafield；Kevin Stone；Khalid El-Arini；Krithika Iyer；Kshitiz Malik；Kuenley Chiu；Kunal Bhalla；Kyle Huang；Lakshya Garg；Lauren Rantala-Yeary；Laurens van der Maaten；Lawrence Chen；Leandro Silva；Lee Bell；Lei Zhang；Liang Tan；Louis Martin；Lovish Madaan；Luca Wehrstedt；Lukas Blecher；Luke de Oliveira；Madeline Muzzi；Madian Khabsa；Manav Avlani；Mannat Singh；Manohar Paluri；Mark Zuckerberg；Marcin Kardas；Martynas Mankus；Mathew Oldham；Mathieu Rita；Matthew Lennie；Maya Pavlova；Meghan Keneally；Melanie Kambadur；Mihir Patel；Mikayel Samvelyan；Mike Clark；Mike Lewis；Min Si；Mitesh Kumar Singh；Mo Metanat；Mona Hassan；Naman Goyal；Narjes Torabi；Nicolas Usunier；Nikolay Bashlykov；Nikolay Bogoychev；Niladri Chatterji；Ning Dong；Oliver Aobo Yang；Olivier Duchenne；Onur Celebi；Parth Parekh；Patrick Alrassy；Paul Saab；Pavan Balaji；Pedro Rittner；Pengchuan Zhang；Pengwei Li；Petar Vasic；Peter Weng；Polina Zvyagina；Prajjwal Bhargava；Pratik Dubal；Praveen Krishnan；Punit Singh Koura；Qing He；Rachel Rodriguez；Ragavan Srinivasan；Rahul Mitra；Ramon Calderer；Raymond Li；Robert Stojnic；Roberta Raileanu；Robin Battey；Rocky Wang；Rohit Girdhar；Rohit Patel；Romain Sauvestre；Ronnie Polidoro；Roshan Sumbaly；Ross Taylor；Ruan Silva；Rui Hou；Rui Wang；Russ Howes；Ruty Rinott；Saghar Hosseini；Sai Jayesh Bondu；Samyak Datta；Sanjay Singh；Sara Chugh；Sargun Dhillon；Satadru Pan；Sean Bell；Sergey Edunov；Shaoliang Nie；Sharan Narang；Sharath Raparthy；Shaun Lindsay；Sheng Feng；Sheng Shen；Shenghao Lin；Shiva Shankar；Shruti Bhosale；Shun Zhang；Simon Vandenhende；Sinong Wang；Seohyun Sonia Kim；Soumya Batra；Sten Sootla；Steve Kehoe；Suchin Gururangan；Sumit Gupta；Sunny Virk；Sydney Borodinsky；Tamar Glaser；Tamar Herman；Tamara Best；Tara Fowler；Thomas Georgiou；Thomas Scialom；Tianhe Li；Todor Mihaylov；Tong Xiao；Ujjwal Karn；Vedanuj Goswami；Vibhor Gupta；Vignesh Ramanathan；Viktor Kerkez；Vinay Satish Kumar；Vincent Gonguet；Vish Vogeti；Vlad Poenaru；Vlad Tiberiu Mihailescu；Vladan Petrovic；Vladimir Ivanov；Wei Li；Weiwei Chu；Wenhan Xiong；Wenyin Fu；Wes Bouaziz；Whitney Meers；Will Constable；Xavier Martinet；Xiaojian Wu；Xinbo Gao；Xinfeng Xie；Xuchao Jia；Yaelle Goldschlag；Yann LeCun；Yashesh Gaur；Yasmine Babaei；Ye Qi；Yenda Li；Yi Wen；Yiwen Song；Youngjin Nam；Yuchen Hao；Yuchen Zhang；Yun Wang；Yuning Mao；Yuzi He；Zacharie Delpierre Coudert；Zachary DeVito；Zahra Hankir；Zhaoduo Wen；Zheng Yan；Zhengxing Chen；Zhenyu Yang；Zoe Papakipos