gpt-oss-120b

试用 gpt-oss · 指南 · 模型卡片 · OpenAI 博客

欢迎了解 gpt-oss 系列，这是 OpenAI 的开源权重模型，专为强大的推理能力、智能体任务和多样化的开发者用例而设计。

我们发布了两种版本的开源模型：

gpt-oss-120b — 适用于生产环境、通用目的和高推理需求，可在单张 80GB GPU（如 NVIDIA H100 或 AMD MI300X）上运行（1170 亿参数，其中 51 亿为活跃参数）
gpt-oss-20b — 适用于低延迟、本地部署或特定场景（210 亿参数，其中 36 亿为活跃参数）

两款模型均基于我们的 harmony 响应格式进行训练，因此必须配合 harmony 格式使用，否则将无法正常工作。

[!NOTE] 本模型卡片专门介绍较大的 gpt-oss-120b 模型。有关较小模型的信息，请查看 gpt-oss-20b。

亮点

宽松的 Apache 2.0 许可证： 可自由构建，无 copyleft 限制或专利风险，非常适合实验、定制和商业部署。
可配置的推理力度： 可根据具体用例和延迟需求，轻松调整推理力度（低、中、高）。
完整的思维链： 全面了解模型的推理过程，便于调试并增强对输出结果的信任。此部分不建议展示给终端用户。
可微调： 通过参数微调，可针对特定用例对模型进行完全定制。
智能体能力： 利用模型原生的函数调用、网页浏览、Python 代码执行和结构化输出等能力。
MXFP4 量化： 模型通过对 MoE 权重进行 MXFP4 量化后训练，使得 gpt-oss-120b 可在单张 80GB GPU（如 NVIDIA H100 或 AMD MI300X）上运行，gpt-oss-20b 模型可在 16GB 内存内运行。所有评估均在相同的 MXFP4 量化条件下进行。

推理示例

Transformers

您可以将 gpt-oss-120b 和 gpt-oss-20b 与 Transformers 配合使用。如果您使用 Transformers 聊天模板，它将自动应用 harmony 响应格式。如果直接使用 model.generate，则需要通过聊天模板手动应用 harmony 格式，或使用我们的 openai-harmony 包。

开始使用前，请安装必要的依赖项以设置您的环境：

pip install -U transformers kernels torch

完成设置后，您可以通过运行以下代码片段来启动模型：

from transformers import pipeline
import torch

model_id = "openai/gpt-oss-120b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Explain quantum mechanics clearly and concisely."},
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

或者，你可以通过 Transformers Serve 运行模型，以启动一个与 OpenAI 兼容的网络服务器：

transformers serve
transformers chat localhost:8000 --model-name-or-path openai/gpt-oss-120b

了解更多关于如何结合 Transformers 使用 gpt-oss 的信息。

vLLM

vLLM 推荐使用 uv 进行 Python 依赖管理。您可以通过 vLLM 快速搭建一个兼容 OpenAI 的网络服务器。以下命令将自动下载模型并启动服务器。

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-match

vllm serve openai/gpt-oss-120b

了解如何将 gpt-oss 与 vLLM 结合使用。

PyTorch / Triton

要了解如何将此模型与 PyTorch 和 Triton 配合使用，请查看我们在 gpt-oss 代码库中的参考实现。

Ollama

如果您尝试在消费级硬件上运行 gpt-oss，可以在安装 Ollama 后运行以下命令来使用 Ollama。

# gpt-oss-120b
ollama pull gpt-oss:120b
ollama run gpt-oss:120b

了解如何将 gpt-oss 与 Ollama 配合使用。

LM Studio

如果您正在使用 LM Studio，可以使用以下命令进行下载。

# gpt-oss-120b
lms get openai/gpt-oss-120b

查看我们的精选列表，获取更多 gpt-oss 资源和推理合作伙伴。

下载模型

您可以直接通过 Hugging Face CLI 从 Hugging Face Hub 下载模型权重：

# gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/
pip install gpt-oss
python -m gpt_oss.chat model/

推理级别

您可以在三个级别中调整适合您任务的推理级别：

低（Low）： 针对一般对话提供快速响应。
中（Medium）： 平衡速度与细节。
高（High）： 深入且详细的分析。

推理级别可在系统提示中设置，例如：“Reasoning: high”。

工具使用

gpt-oss 模型在以下方面表现出色：

网页浏览（使用内置浏览工具）
按定义的模式进行函数调用
代理操作，如浏览器任务

微调

两种 gpt-oss 模型均可针对多种专业用例进行微调。

较大的模型 gpt-oss-120b 可在单个 H100 节点上进行微调，而较小的模型 gpt-oss-20b 甚至可在消费级硬件上进行微调。