本篇主要介绍了DeepSeek团队开发的第一代推理模型——DeepSeek-R1-Zero和DeepSeek-R1。这些模型通过大规模强化学习（Reinforcement Learning, RL）来提升推理能力，并在多个基准测试中取得了与OpenAI的o1系列模型相当的性能。论文还探讨了如何将推理能力从大型模型蒸馏到小型模型，并开源了相关模型和数据，为研究社区提供了宝贵的资源。
1. 研究背景与动机
近年来，大型语言模型（LLMs）在推理能力方面取得了显著进展，但大多数方法依赖于监督学习（Supervised Fine-Tuning, SFT）来提升性能。然而，监督学习需要大量标注数据，成本较高。因此，研究者们开始探索如何通过强化学习（RL）来提升模型的推理能力，而不依赖于监督学习。DeepSeek团队的这项工作正是基于这一背景展开的。
2. 研究方法
2.1 DeepSeek-R1-Zero：无监督微调的强化学习
DeepSeek-R1-Zero是通过纯强化学习训练的模型，没有使用监督微调作为预处理步骤。研究者采用GRPO（Group Relative Policy Optimization）算法进行训练，通过规则化的奖励系统来指导模型的训练方向。奖励系统包括准确率奖励（Accuracy rewards）和格式奖励（Format rewards），以确保模型能够正确回答问题并遵循指定的格式。
训练过程中，DeepSeek-R1-Zero逐渐展现出强大的推理能力，例如在AIME 2024基准测试中，其Pass@1分数从15.6%提升到71.0%，接近OpenAI-o1-0912的性能。此外，模型还表现出自我验证、反思和生成长推理链（Chain-of-Thought, CoT）等能力。
2.2 DeepSeek-R1：带冷启动数据的强化学习
尽管DeepSeek-R1-Zero表现出色，但其存在一些问题，如可读性差和语言混杂。为了解决这些问题，DeepSeek团队引入了DeepSeek-R1，该模型在强化学习之前使用了少量冷启动数据进行预训练。这些冷启动数据通过人工标注和模型生成相结合的方式获得，旨在提高模型的可读性和推理能力。
DeepSeek-R1的训练过程包括四个阶段：
- 冷启动（Cold Start） ：使用少量长推理链数据对基础模型进行微调，作为强化学习的起点。
- 推理导向的强化学习（Reasoning-oriented Reinforcement Learning） ：在冷启动数据的基础上进行大规模强化学习，专注于提升推理能力。
- 拒绝采样和监督微调（Rejection Sampling and Supervised Fine-Tuning） ：通过拒绝采样生成新的训练数据，并结合监督学习进一步优化模型。
- 全场景强化学习（Reinforcement Learning for all Scenarios） ：在所有场景下进行强化学习，确保模型在推理和非推理任务上均表现出色。
2.3 模型蒸馏（Distillation）
为了将DeepSeek-R1的推理能力迁移到小型模型中，研究者采用了模型蒸馏技术。通过使用DeepSeek-R1生成的800K训练样本对小型模型进行微调，显著提升了这些小型模型的推理性能。例如，DeepSeek-R1-Distill-Qwen-7B在AIME 2024基准测试中的表现超过了QwQ-32B-Preview等其他开源模型。
3. 实验结果
3.1 DeepSeek-R1的性能
DeepSeek-R1在多个基准测试中表现出色，与OpenAI-o1-1217相当。例如：
- 在AIME 2024中，DeepSeek-R1的Pass@1分数为79.8%，略高于OpenAI-o1-1217。
- 在MATH-500中，DeepSeek-R1的Pass@1分数为97.3%，与OpenAI-o1-1217相当。
- 在Codeforces中，DeepSeek-R1的Elo评分为2029，超过96.3%的人类参赛者。
此外，DeepSeek-R1在教育相关的知识基准测试（如MMLU、MMLU-Pro和GPQA Diamond）中也表现出色，显著优于DeepSeek-V3。
3.2 蒸馏模型的性能
通过蒸馏技术，小型模型也展现出了强大的推理能力。例如：
- DeepSeek-R1-Distill-Qwen-7B在AIME 2024中的Pass@1分数为55.5%，超过了GPT-4o和Claude-3.5-Sonnet。
- DeepSeek-R1-Distill-Qwen-32B在MATH-500中的Pass@1分数为72.6%，显著优于其他开源模型。
4. 讨论与未来工作
4.1 蒸馏与强化学习的比较
论文指出，通过蒸馏技术，小型模型可以实现与大型模型相当的推理能力，而直接对小型模型进行大规模强化学习则需要更多的计算资源，且效果不如蒸馏。
4.2 失败的尝试
研究者分享了一些失败的尝试，例如过程奖励模型（PRM）和蒙特卡洛树搜索（MCTS）。这些方法在理论上是合理的，但在实践中存在诸多挑战，例如PRM容易导致奖励劫持（reward hacking），而MCTS在大规模训练时难以优化。
4.3 未来工作
未来的研究方向包括：
- 提升模型在函数调用、多轮对话、复杂角色扮演等任务中的表现。
- 解决语言混杂问题，优化对非中文和英文查询的处理。
- 改进提示工程，减少对提示的敏感性。
- 在软件工程任务中应用大规模强化学习，提升模型在这些领域的表现。
5. 总结
DeepSeek团队通过强化学习显著提升了语言模型的推理能力，并通过模型蒸馏将这些能力迁移到小型模型中。DeepSeek-R1在多个基准测试中取得了与OpenAI-o1系列模型相当的性能，为未来的研究提供了新的方向和方法。
