模型概述

Phi-3-Medium-128K-Instruct 是一款拥有 140 亿参数的轻量级前沿开放模型，它基于 Phi-3 数据集训练而成。该数据集包含合成数据以及经过筛选的公开网站数据，重点突出高质量和推理密集型特性。

该模型隶属于 Phi-3 系列，其中 Medium 版本包含两个变体：4k 和 128K，这代表了模型所能支持的上下文长度（以 tokens 为单位）。

模型经过了后期训练流程，其中融合了监督式微调与直接偏好优化，旨在提升指令遵循能力和安全保障措施。在针对常识、语言理解、数学、代码、长上下文及逻辑推理等方面的基准测试中，Phi-3-Medium-128K-Instruct 在同规模及更高级别模型中均展现出稳健且领先的性能。

资源与技术文档：

• Phi-3 Microsoft Blog
• Phi-3 Technical Report
• Phi-3 on Azure AI Studio
• Phi-3 Cookbook

预期用途

主要使用场景

该模型旨在广泛应用于英语环境下的商业和研究用途。它适用于需要满足以下条件的通用人工智能系统和应用：

1. 内存/计算资源受限的环境
2. 延迟敏感的场景
3. 强大的推理能力（尤其是代码、数学和逻辑方面）

我们的模型旨在加速语言和多模态模型的研究，用作生成式人工智能驱动功能的基础组件。

使用场景考量

我们的模型并非专门为所有下游用途设计或评估。开发人员在选择使用场景时应考虑语言模型的常见局限性，并在特定下游场景中使用前，针对准确性、安全性和公平性进行评估和缓解，尤其是在高风险场景中。开发人员应了解并遵守与其使用场景相关的适用法律法规（包括隐私、贸易合规法律等）。

本模型卡片中的任何内容均不应被解释为或视为对模型发布所依据的许可的限制或修改。

如何使用

Phi-3-Medium-128k-Instruct 已集成到 transformers 的开发版本（4.40.2）中。在通过 pip 发布官方版本之前，请确保您执行以下操作之一：

• 加载模型时，确保将 trust_remote_code=True 作为 from_pretrained() 函数的参数传入。

• 将本地 transformers 更新到开发版本：pip uninstall -y transformers && pip install git+https://github.com/huggingface/transformers。前面的命令是克隆并从源代码安装的替代方法。

当前的 transformers 版本可以通过以下命令验证：pip list | grep transformers。

Phi-3-Medium-128k-Instruct 也可在 Azure AI Studio 中使用。

分词器

Phi-3-Medium-128k-Instruct 支持的词汇量最多为 32064 个标记。分词器文件 已提供占位符标记，可用于下游微调，但也可以扩展到模型的词汇量上限。

聊天格式

考虑到训练数据的特性，Phi-3-Medium-128k-Instruct模型最适合使用如下聊天格式的提示词。 您可以按照以下通用模板将提示词作为问题提供：

<|user|>\nQuestion <|end|>\n<|assistant|>

例如：

<|user|>
How to explain Internet for a medieval knight?<|end|>
<|assistant|>

其中模型会在 <|assistant|> 之后生成文本。对于少样本提示，可按以下格式设置提示：

<|user|>
I am going to Paris, what should I see?<|end|>
<|assistant|>
Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:\n\n1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.\n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.\n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.\n\nThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world."<|end|>
<|user|>
What is so great about #1?<|end|>
<|assistant|>

示例推理代码

以下代码片段展示了如何快速在 GPU 上运行模型：

from openmind import AutoModelForCausalLM,AutoTokenizer, AutoModel, is_torch_npu_available
from openmind_hub import snapshot_download
import torch
import argparse
import torch.nn.functional as F


def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default="zhouhui/Phi-3-medium-128k-instruct",
    )
    args = parser.parse_args()
    return args

def main():
    args = parse_args()
    model_path = args.model_name_or_path

    if is_torch_npu_available():
        device = "npu:0"
    else:
        device = "cpu"
        
    
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device, trust_remote_code=True)

    messages = [
        {"role": "user", "content": "推荐5个合肥的景点。"},
    ]
    model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

    model_outputs = model.generate(
        model_inputs,
        max_new_tokens=1024,
        top_p=0.7,
        temperature=0.7
    )

    output_token_ids = [
        model_outputs[i][len(model_inputs[i]):] for i in range(len(model_inputs))
    ]

    responses = tokenizer.batch_decode(output_token_ids, skip_special_tokens=True)[0]
    print(responses)


if __name__ == "__main__":
    main()

部分应用程序/框架可能不会在对话开头包含 BOS 令牌（<s>）。请确保包含此令牌，因为它能提供更可靠的结果。

负责任的 AI 考量因素

与其他语言模型一样，Phi 系列模型可能会表现出不公平、不可靠或冒犯性的行为。需要注意的一些局限性行为包括：

• 服务质量：Phi 模型主要针对英文文本进行训练。非英文语言的性能会较差。训练数据中代表性不足的英语变体，其性能可能会比标准美式英语差。
• 伤害的呈现与刻板印象的延续：这些模型可能会过度或不足地呈现某些人群，抹去某些群体的代表性，或强化贬低性或负面的刻板印象。尽管经过了安全训练，由于不同群体的代表性水平不同，或训练数据中反映现实世界模式和社会偏见的负面刻板印象示例的普遍性，这些局限性仍可能存在。
• 不当或冒犯性内容：这些模型可能会生成其他类型的不当或冒犯性内容，这可能使其在没有针对特定用例的额外缓解措施的情况下，不适合在敏感环境中部署。
• 信息可靠性：语言模型可能会生成无意义的内容或编造听起来合理但不准确或过时的内容。
• 代码范围有限：Phi-3 的大部分训练数据基于 Python，并使用常见的包，如 "typing, math, random, collections, datetime, itertools"。如果模型生成的 Python 脚本使用了其他包，或其他语言的脚本，我们强烈建议用户手动验证所有 API 的使用。

开发人员应应用负责任的 AI 最佳实践，并负责确保特定用例符合相关法律法规（例如隐私、贸易等）。需要考虑的重要方面包括：

• 分配：如果没有进一步的评估和额外的去偏技术，模型可能不适合那些可能对法律地位或资源、生活机会（例如住房、就业、信贷等）的分配产生重大影响的场景。
• 高风险场景：开发人员应评估在高风险场景中使用模型的适用性，在这些场景中，不公平、不可靠或冒犯性的输出可能会造成极大的代价或导致伤害。这包括在准确性和可靠性至关重要的敏感或专业领域提供建议（例如法律或健康建议）。应根据部署环境在应用层面实施额外的安全措施。
• 错误信息：模型可能会产生不准确的信息。开发人员应遵循透明度最佳实践，并告知最终用户他们正在与 AI 系统交互。在应用层面，开发人员可以构建反馈机制和管道，将响应建立在特定于用例的上下文信息之上，这种技术称为检索增强生成（RAG）。
• 有害内容的生成：开发人员应根据其上下文评估输出，并使用适用于其用例的可用安全分类器或自定义解决方案。
• 滥用：可能存在其他形式的滥用，如欺诈、垃圾邮件或恶意软件制作，开发人员应确保其应用程序不违反适用的法律法规。

训练

模型

• 架构：Phi-3-Medium-128k-Instruct 拥有 140 亿参数，是一个密集型仅解码器 Transformer 模型。该模型通过监督微调（SFT）和直接偏好优化（DPO）进行微调，以确保与人类偏好和安全准则保持一致。
• 输入：文本。最适合使用聊天格式的提示词。
• 上下文长度：128k tokens
• 显卡：512 张 H100-80G
• 训练时间：42 天
• 训练数据：4.8T tokens
• 输出：针对输入生成的文本
• 日期：我们的模型在 2024 年 2 月至 4 月期间进行训练
• 状态：这是一个在截止日期为 2023 年 10 月的离线数据集上训练的静态模型。随着我们对模型的改进，未来可能会发布经过调优的模型版本。
• 发布日期：模型权重于 2024 年 5 月 21 日发布。

数据集

我们的训练数据来源广泛多样，总计 4.8 万亿 tokens（包括 10% 的多语言数据），由以下部分组合而成：

1. 经过严格质量筛选的公开可用文档、精选的高质量教育数据以及代码；
2. 新创建的合成“教科书式”数据，用于教授数学、编码、常识推理、世界通用知识（科学、日常活动、心理理论等）；
3. 高质量的聊天格式监督数据，涵盖各种主题，以反映人类在指令遵循、真实性、诚实性和帮助性等不同方面的偏好。

我们专注于可能提升模型推理能力的数据质量，并且对公开可用文档进行筛选，以确保其包含适当水平的知识。例如，某一天英超联赛的比赛结果可能是前沿模型的良好训练数据，但对于小尺寸模型，我们需要移除此类信息，以便为推理保留更多的模型容量。有关数据的更多详细信息，请参见 Phi-3 技术报告。

基准测试结果

我们报告了Phi-3-Medium-128k-Instruct在标准开源基准测试中的表现，这些基准测试用于衡量模型的推理能力（包括常识推理和逻辑推理）。我们将其与Mixtral-8x22b、Gemini-Pro、Command R+ 104B、Llama-3-70B-Instruct、GPT-3.5-Turbo-1106以及GPT-4-Turbo-1106（Chat）进行了对比。

所有报告的数值均通过完全相同的流程生成，以确保结果的可比性。由于评估过程中的细微差异，这些数值可能与其他已发布的结果有所不同。

按照当前标准，我们使用少样本提示（few-shot prompts）对模型进行评估，温度设定为0。这些提示和样本数量是微软内部语言模型评估工具的一部分，我们并未针对Phi-3对评估流程进行任何优化。具体而言，我们没有修改提示、选择不同的少样本示例、更改提示格式或进行任何其他形式的模型优化。

每个基准测试的k-shot示例数量会单独列出。

我们在下表中深入分析了80个公开基准数据集的不同类别：

软件

• PyTorch
• DeepSpeed
• Transformers
• Flash-Attention

硬件

请注意，Phi-3-Medium 模型默认使用 flash attention，这需要特定类型的 GPU 硬件才能运行。我们已在以下 GPU 类型上进行了测试：

• NVIDIA A100
• NVIDIA A6000
• NVIDIA H100

如果您希望在以下设备上运行模型：

• 在 GPU、CPU 和移动设备上进行优化推理：使用 ONNX 模型 128k

跨平台支持

ONNX Runtime 生态系统现已支持 Phi-3 Medium 模型在各种平台和硬件上运行。 经过优化的 Phi-3 模型也以 ONNX 格式在此发布，可配合 ONNX Runtime 在 CPU 和 GPU 上跨设备运行，包括服务器平台、Windows、Linux 和 Mac 桌面以及移动 CPU，并为每个目标平台提供最适合的精度。DirectML GPU 加速支持 Windows 桌面 GPU（AMD、Intel 和 NVIDIA）。 除了 DML，ONNX Runtime 还为 Phi-3 Medium 提供跨平台支持，覆盖从 CPU、GPU 到移动设备的多种设备。 以下是我们添加的一些优化配置：

1. int4 DML 的 ONNX 模型：通过 AWQ 量化为 int4
2. fp16 CUDA 的 ONNX 模型
3. int4 CUDA 的 ONNX 模型：通过 RTN 量化为 int4
4. int4 CPU 和移动设备的 ONNX 模型：通过 RTN 量化为 int4

许可证

该模型根据 MIT 许可证 授权。

商标

本项目可能包含项目、产品或服务的商标或徽标。Microsoft 商标或徽标的授权使用受 Microsoft 商标与品牌指南 约束，并且必须遵循该指南。在本项目的修改版本中使用 Microsoft 商标或徽标不得引起混淆或暗示 Microsoft 的赞助。任何第三方商标或徽标的使用均受这些第三方政策的约束。