DeepSeek-R1

论文链接👁️

0. 如何运行

使用 MindNLP

from mindnlp.transformers import AutoModelForCausalLM, AutoTokenizer
import mindspore as ms

model_name = 'MindSpore-Lab/DeepSeek-R1-Distill-Qwen-1.5B'
model = AutoModelForCausalLM.from_pretrained(model_name, mirror="modelers", ms_dtype=ms.float16)
tokenizer = AutoTokenizer.from_pretrained(model_name, mirror="modelers", ms_dtype=ms.float16)

prompt = "请介绍一下你自己"
messages = [
    {"role": "system", "content": ""},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

model_inputs = tokenizer([text], return_tensors="ms")
generated_ids = model.generate(**model_inputs, max_new_tokens=512)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

使用 OpenMind

from openmind import pipeline

prompt = "请介绍一下你自己"
messages = [
    {"role": "system", "content": ""},
    {"role": "user", "content": prompt}
]

generator = pipeline(
    task="text-generation",
    model="MindSpore-Lab/DeepSeek-R1-Distill-Qwen-1.5B",
    framework="ms",
    backend="mindnlp",
    max_new_tokens=512
)
outputs = generator(messages)
print(outputs)
print(outputs[0]['generated_text'][2]['content'])

1. 引言

我们推出了第一代推理模型：DeepSeek-R1-Zero 和 DeepSeek-R1。 DeepSeek-R1-Zero 是一款未经监督微调（SFT）预处理，直接通过大规模强化学习（RL）训练的模型，在推理任务上展现出卓越性能。 借助强化学习，DeepSeek-R1-Zero 自然地涌现出众多强大且有趣的推理行为。 然而，DeepSeek-R1-Zero 面临着诸如无限重复、可读性差以及语言混用等挑战。为解决这些问题并进一步提升推理性能， 我们引入了在强化学习前融入冷启动数据的 DeepSeek-R1。 DeepSeek-R1 在数学、代码及推理任务上的性能可与 OpenAI-o1 相媲美。 为支持科研社区，我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及基于 Llama 和 Qwen 从 DeepSeek-R1 蒸馏得到的六个稠密模型。其中，DeepSeek-R1-Distill-Qwen-32B 在多个基准测试中表现优于 OpenAI-o1-mini，刷新了稠密模型的性能纪录。

注意：在本地运行 DeepSeek-R1 系列模型前，建议先查阅使用建议部分。

2. 模型概述

训练后处理：在基础模型上进行大规模强化学习

• 我们直接在基础模型上应用强化学习（RL），无需以监督微调（SFT）作为前置步骤。这种方法使模型能够自主探索思维链（CoT）以解决复杂问题，从而开发出 DeepSeek-R1-Zero。DeepSeek-R1-Zero 展现出自我验证、反思及生成冗长思维链等能力，为科研社区树立了重要里程碑。值得注意的是，这是首个通过公开研究证实，大型语言模型（LLMs）的推理能力可纯粹通过强化学习激发，而无需监督微调。这一突破为该领域未来的发展铺平了道路。

• 我们介绍了开发 DeepSeek-R1 的 pipeline。该 pipeline 包含两个强化学习阶段，旨在发现更优的推理模式并与人类偏好对齐；以及两个监督微调阶段，作为模型推理与非推理能力的种子。 我们相信此 pipeline 将通过打造更优模型而使行业受益。

模型蒸馏：小模型亦能拥有强大能力

• 我们证明，大模型的推理模式可以被蒸馏到小模型中，其性能优于小模型通过强化学习自主发现的推理模式。开源的 DeepSeek-R1 及其 API 将助力科研社区在未来蒸馏出更优秀的小模型。
• 利用 DeepSeek-R1 生成的推理数据，我们对科研社区广泛使用的多个稠密模型进行了微调。评估结果显示，蒸馏得到的小型稠密模型在基准测试中表现优异。我们向社区开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、7B、8B、14B、32B 和 70B 蒸馏 checkpoint。

3. 模型下载

DeepSeek-R1 模型

DeepSeek-R1-Zero 和 DeepSeek-R1 均基于 DeepSeek-V3-Base 训练而成。 有关模型架构的更多详细信息，请参考 DeepSeek-V3 代码库。

DeepSeek-R1-Distill 模型

DeepSeek-R1-Distill 系列模型是在开源模型基础上，利用 DeepSeek-R1 生成的样本进行微调得到的。 我们对这些模型的配置和分词器做了轻微调整。请使用我们提供的设置来运行这些模型。

4. 评估结果

DeepSeek-R1-评估

对于我们所有的模型，最大生成长度均设置为 32,768 个 token。对于需要采样的基准测试，我们使用 0.6 的温度值、0.95 的 top-p 值，并为每个查询生成 64 个响应以估计 pass@1。

蒸馏模型评估

5. 聊天网站与API平台

您可以在深度求索官方网站 chat.deepseek.com 与 DeepSeek-R1 进行对话，并开启“深度思考”按钮。

我们还在深度求索平台 platform.deepseek.com 提供兼容 OpenAI 的 API。

6. 本地运行方法

DeepSeek-R1 模型

关于在本地运行 DeepSeek-R1 的更多信息，请访问 DeepSeek-V3 代码库。

注意：Hugging Face 的 Transformers 目前尚未直接支持。

DeepSeek-R1-Distill 模型

DeepSeek-R1-Distill 模型的使用方式与 Qwen 或 Llama 模型相同。

例如，您可以使用 vLLM 轻松启动服务：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

你也可以使用 SGLang 轻松启动服务。

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

使用建议

为实现预期性能，在使用包括基准测试在内的DeepSeek-R1系列模型时，我们建议遵循以下配置：

1. 将temperature设置在0.5-0.7范围内（推荐0.6），以防止无意义重复或输出不连贯。
2. 避免添加系统提示；所有指令均应包含在用户提示中。
3. 对于数学问题，建议在提示中包含类似如下指令：“请逐步推理，并将最终答案放在\boxed{}内。”
4. 评估模型性能时，建议进行多次测试并取结果平均值。

此外，我们观察到DeepSeek-R1系列模型在响应某些查询时，可能会跳过思考模式（即不输出“\