DeepSeek-R1
1. 引言
我们推出了第一代推理模型：DeepSeek-R1-Zero 和 DeepSeek-R1。 DeepSeek-R1-Zero 是一款未经监督微调（SFT）预处理，直接通过大规模强化学习（RL）训练的模型，在推理任务上展现了卓越性能。 借助强化学习，DeepSeek-R1-Zero 自然涌现出众多强大且有趣的推理行为。 然而，DeepSeek-R1-Zero 面临着诸如无限重复、可读性差以及语言混合等挑战。为解决这些问题并进一步提升推理性能， 我们引入了在强化学习前融入冷启动数据的 DeepSeek-R1。 DeepSeek-R1 在数学、代码及推理任务上的性能可与 OpenAI-o1 相媲美。 为支持科研社区，我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及基于 Llama 和 Qwen 从 DeepSeek-R1 蒸馏得到的六个密集型模型。DeepSeek-R1-Distill-Qwen-32B 在多个基准测试中表现优于 OpenAI-o1-mini，刷新了密集型模型的性能纪录。
注意：在本地运行 DeepSeek-R1 系列模型前，建议您先查阅使用建议部分。
2. 模型概述
后训练：在基础模型上进行大规模强化学习
-
我们直接在基础模型上应用强化学习（RL），无需以监督微调（SFT）作为预处理步骤。这种方法使模型能够自主探索思维链（CoT）以解决复杂问题，从而开发出 DeepSeek-R1-Zero。DeepSeek-R1-Zero 展现出自我验证、反思及生成冗长思维链等能力，为科研社区树立了重要里程碑。值得注意的是，这是首个通过公开研究证实，大型语言模型（LLMs）的推理能力可纯粹通过强化学习激发，而无需监督微调。这一突破为该领域的未来发展铺平了道路。
-
我们介绍了 DeepSeek-R1 的开发流程。该流程包含两个强化学习阶段，旨在发现更优的推理模式并与人类偏好对齐；以及两个监督微调阶段，作为模型推理与非推理能力的种子。 我们相信此流程将通过创建更优模型而使行业受益。
蒸馏：小模型亦能拥有强大能力
- 我们证明，大型模型的推理模式可以被蒸馏到小型模型中，其性能优于小型模型通过强化学习自主发现的推理模式。开源的 DeepSeek-R1 及其 API，将有助于科研社区在未来蒸馏出更优秀的小型模型。
- 利用 DeepSeek-R1 生成的推理数据，我们对科研社区广泛使用的多个密集型模型进行了微调。评估结果显示，这些蒸馏得到的小型密集型模型在基准测试中表现异常出色。我们向社区开源了基于 Qwen2.5 和 Llama3 系列蒸馏得到的 1.5B、7B、8B、14B、32B 和 70B checkpoint。
3. 模型下载
DeepSeek-R1 模型
| 模型 | 总参数量 | 激活参数量 | 上下文长度 | 下载 |
|---|---|---|---|---|
| DeepSeek-R1-Zero | 671B | 37B | 128K | 🤗 HuggingFace |
| DeepSeek-R1 | 671B | 37B | 128K | 🤗 HuggingFace |
DeepSeek-R1-Zero 和 DeepSeek-R1 均基于 DeepSeek-V3-Base 训练而成。 有关模型架构的更多详情，请参考 DeepSeek-V3 代码库。
DeepSeek-R1-Distill 模型
| 模型 | 基础模型 | 下载 |
|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | 🤗 HuggingFace |
| DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | 🤗 HuggingFace |
| DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | 🤗 HuggingFace |
| DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | 🤗 HuggingFace |
| DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | 🤗 HuggingFace |
| DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | 🤗 HuggingFace |
DeepSeek-R1-Distill 系列模型是在开源模型基础上，利用 DeepSeek-R1 生成的样本进行微调得到的。 我们对这些模型的配置和分词器做了细微调整。请使用我们提供的设置来运行这些模型。
4. 评估结果
DeepSeek-R1-Evaluation
对于我们所有的模型，最大生成长度均设置为 32,768 个 token。对于需要采样的基准测试，我们使用 0.6 的温度值、0.95 的 top-p 值，并为每个查询生成 64 个响应以估计 pass@1。
| 类别 | 基准测试（指标） | Claude-3.5-Sonnet-1022 | GPT-4o 0513 | DeepSeek V3 | OpenAI o1-mini | OpenAI o1-1217 | DeepSeek R1 |
|---|---|---|---|---|---|---|---|
| 架构 | - | - | MoE | - | - | MoE | |
| 激活参数数量 | - | - | 37B | - | - | 37B | |
| 总参数数量 | - | - | 671B | - | - | 671B | |
| 英文 | MMLU (Pass@1) | 88.3 | 87.2 | 88.5 | 85.2 | 91.8 | 90.8 |
| MMLU-Redux (EM) | 88.9 | 88.0 | 89.1 | 86.7 | - | 92.9 | |
| MMLU-Pro (EM) | 78.0 | 72.6 | 75.9 | 80.3 | - | 84.0 | |
| DROP (3-shot F1) | 88.3 | 83.7 | 91.6 | 83.9 | 90.2 | 92.2 | |
| IF-Eval (Prompt Strict) | 86.5 | 84.3 | 86.1 | 84.8 | - | 83.3 | |
| GPQA-Diamond (Pass@1) | 65.0 | 49.9 | 59.1 | 60.0 | 75.7 | 71.5 | |
| SimpleQA (Correct) | 28.4 | 38.2 | 24.9 | 7.0 | 47.0 | 30.1 | |
| FRAMES (Acc.) | 72.5 | 80.5 | 73.3 | 76.9 | - | 82.5 | |
| AlpacaEval2.0 (LC-winrate) | 52.0 | 51.1 | 70.0 | 57.8 | - | 87.6 | |
| ArenaHard (GPT-4-1106) | 85.2 | 80.4 | 85.5 | 92.0 | - | 92.3 | |
| 代码 | LiveCodeBench (Pass@1-COT) | 33.8 | 34.2 | - | 53.8 | 63.4 | 65.9 |
| Codeforces (Percentile) | 20.3 | 23.6 | 58.7 | 93.4 | 96.6 | 96.3 | |
| Codeforces (Rating) | 717 | 759 | 1134 | 1820 | 2061 | 2029 | |
| SWE Verified (Resolved) | 50.8 | 38.8 | 42.0 | 41.6 | 48.9 | 49.2 | |
| Aider-Polyglot (Acc.) | 45.3 | 16.0 | 49.6 | 32.9 | 61.7 | 53.3 | |
| 数学 | AIME 2024 (Pass@1) | 16.0 | 9.3 | 39.2 | 63.6 | 79.2 | 79.8 |
| MATH-500 (Pass@1) | 78.3 | 74.6 | 90.2 | 90.0 | 96.4 | 97.3 | |
| CNMO 2024 (Pass@1) | 13.1 | 10.8 | 43.2 | 67.6 | - | 78.8 | |
| 中文 | CLUEWSC (EM) | 85.4 | 87.9 | 90.9 | 89.9 | - | 92.8 |
| C-Eval (EM) | 76.7 | 76.0 | 86.5 | 68.9 | - | 91.8 | |
| C-SimpleQA (Correct) | 55.4 | 58.7 | 68.0 | 40.3 | - | 63.7 |
蒸馏模型评估
| 模型名称 | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA Diamond pass@1 | LiveCodeBench pass@1 | CodeForces 评分 |
|---|---|---|---|---|---|---|
| GPT-4o-0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
| Claude-3.5-Sonnet-1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
| o1-mini | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
| QwQ-32B-Preview | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek-R1-Distill-Qwen-1.5B | 28.9 | 52.7 | 83.9 | 33.8 | 16.9 | 954 |
| DeepSeek-R1-Distill-Qwen-7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
| DeepSeek-R1-Distill-Qwen-14B | 69.7 | 80.0 | 93.9 | 59.1 | 53.1 | 1481 |
| DeepSeek-R1-Distill-Qwen-32B | 72.6 | 83.3 | 94.3 | 62.1 | 57.2 | 1691 |
| DeepSeek-R1-Distill-Llama-8B | 50.4 | 80.0 | 89.1 | 49.0 | 39.6 | 1205 |
| DeepSeek-R1-Distill-Llama-70B | 70.0 | 86.7 | 94.5 | 65.2 | 57.5 | 1633 |
5. 聊天网站与API平台
您可以在深度求索官方网站 chat.deepseek.com 与 DeepSeek-R1 进行对话，并开启“深度思考”（DeepThink）功能。
我们还在深度求索平台 platform.deepseek.com 提供了与 OpenAI 兼容的 API。
6. 本地运行方法
DeepSeek-R1 模型
关于本地运行 DeepSeek-R1 的更多信息，请访问 DeepSeek-V3 代码库。
注意：Hugging Face 的 Transformers 库目前暂不直接支持。
DeepSeek-R1-Distill 模型
DeepSeek-R1-Distill 模型的使用方式与 Qwen 或 Llama 模型相同。
例如，您可以使用 vLLM 轻松启动服务：
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager您也可以使用 SGLang 轻松启动服务。
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2使用建议
我们建议在使用 DeepSeek-R1 系列模型（包括进行基准测试）时，遵循以下配置以达到预期性能：
- 将温度参数设置在 0.5-0.7 范围内（推荐 0.6），以避免输出内容无限重复或逻辑不连贯。
- 避免添加系统提示词；所有指令均应包含在用户提示词中。
- 对于数学问题，建议在提示词中加入类似指令：“请逐步推理，并将最终答案放在 \boxed{} 内。”
- 评估模型性能时，建议进行多次测试并取结果平均值。
此外，我们观察到 DeepSeek-R1 系列模型在响应某些查询时，可能会跳过思考模式（即不输出“<think>\n\n</think>”），这可能对模型性能产生不利影响。 为确保模型进行充分推理，建议强制模型在每次输出的开头以“<think>\n”启动响应。
7. 许可证
本代码仓库和模型权重采用 MIT 许可证 授权。 DeepSeek-R1 系列支持商业用途，允许进行任何修改和衍生作品，包括但不限于通过蒸馏训练其他大语言模型（LLM）。请注意：
- DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B 衍生自 Qwen-2.5 系列，其原始许可证为 Apache 2.0 许可证，现使用 DeepSeek-R1 精心筛选的 80 万样本进行了微调。
- DeepSeek-R1-Distill-Llama-8B 衍生自 Llama3.1-8B-Base，其原始许可证为 llama3.1 许可证。
- DeepSeek-R1-Distill-Llama-70B 衍生自 Llama3.3-70B-Instruct，其原始许可证为 llama3.3 许可证。
8. 引用
@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning},
author={DeepSeek-AI and Daya Guo and Dejian Yang and Haowei Zhang and Junxiao Song and Ruoyu Zhang and Runxin Xu and Qihao Zhu and Shirong Ma and Peiyi Wang and Xiao Bi and Xiaokang Zhang and Xingkai Yu and Yu Wu and Z. F. Wu and Zhibin Gou and Zhihong Shao and Zhuoshu Li and Ziyi Gao and Aixin Liu and Bing Xue and Bingxuan Wang and Bochao Wu and Bei Feng and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chenyu Zhang and Chong Ruan and Damai Dai and Deli Chen and Dongjie Ji and Erhang Li and Fangyun Lin and Fucong Dai and Fuli Luo and Guangbo Hao and Guanting Chen and Guowei Li and H. Zhang and Han Bao and Hanwei Xu and Haocheng Wang and Honghui Ding and Huajian Xin and Huazuo Gao and Hui Qu and Hui Li and Jianzhong Guo and Jiashi Li and Jiawei Wang and Jingchang Chen and Jingyang Yuan and Junjie Qiu and Junlong Li and J. L. Cai and Jiaqi Ni and Jian Liang and Jin Chen and Kai Dong and Kai Hu and Kaige Gao and Kang Guan and Kexin Huang and Kuai Yu and Lean Wang and Lecong Zhang and Liang Zhao and Litong Wang and Liyue Zhang and Lei Xu and Leyi Xia and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Meng Li and Miaojun Wang and Mingming Li and Ning Tian and Panpan Huang and Peng Zhang and Qiancheng Wang and Qinyu Chen and Qiushi Du and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and R. J. Chen and R. L. Jin and Ruyi Chen and Shanghao Lu and Shangyan Zhou and Shanhuang Chen and Shengfeng Ye and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and S. S. Li and Shuang Zhou and Shaoqing Wu and Shengfeng Ye and Tao Yun and Tian Pei and Tianyu Sun and T. Wang and Wangding Zeng and Wanjia Zhao and Wen Liu and Wenfeng Liang and Wenjun Gao and Wenqin Yu and Wentao Zhang and W. L. Xiao and Wei An and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaotao Nie and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xinyu Yang and Xinyuan Li and Xuecheng Su and Xuheng Lin and X. Q. Li and Xiangyue Jin and Xiaojin Shen and Xiaosha Chen and Xiaowen Sun and Xiaoxiang Wang and Xinnan Song and Xinyi Zhou and Xianzu Wang and Xinxia Shan and Y. K. Li and Y. Q. Wang and Y. X. Wei and Yang Zhang and Yanhong Xu and Yao Li and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Yu and Yichao Zhang and Yifan Shi and Yiliang Xiong and Ying He and Yishi Piao and Yisong Wang and Yixuan Tan and Yiyang Ma and Yiyuan Liu and Yongqiang Guo and Yuan Ou and Yuduan Wang and Yue Gong and Yuheng Zou and Yujia He and Yunfan Xiong and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuyang Zhou and Y. X. Zhu and Yanhong Xu and Yanping Huang and Yaohui Li and Yi Zheng and Yuchen Zhu and Yunxian Ma and Ying Tang and Yukun Zha and Yuting Yan and Z. Z. Ren and Zehui Ren and Zhangli Sha and Zhe Fu and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zhewen Hao and Zhicheng Ma and Zhigang Yan and Zhiyu Wu and Zihui Gu and Zijia Zhu and Zijun Liu and Zilin Li and Ziwei Xie and Ziyang Song and Zizheng Pan and Zhen Huang and Zhipeng Xu and Zhongyu Zhang and Zhen Zhang},
year={2025},
eprint={2501.12948},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2501.12948},
}
9. 联系方式
如有任何问题，请提交 issue 或通过 service@deepseek.com 与我们联系。