DeepSeek-R1 展示了仅通过强化学习（RL）即可激发大模型产生长思维链（Long CoT）和反思能力，无需监督微调（SFT）作为前置条件。文章对比了 DeepSeek-R1-Zero 与正式版 R1 的训练流程。R1-Zero 验证了基于规则的奖励模型配合 Base 模型进行 RL 的有效性。正式版 R1 则采用冷启动数据 SFT 初始化，结合多阶段 RL 及高质量数据蒸馏。此外，针对小模型仅需蒸馏即可提升推理能力。该研究揭示了推理时间扩展与训练过程可能并非完全独立，为后续大模型训练提供了新视角。
在 OpenAI o1 刚发布时，其有限的技术报告中有两个内容格外抓人眼球：
我一直是将这两者理解为两个独立的个体。基于此，当时我对 o1 的实现思路做出了一些猜想：
我认为 o1 走的可能是 Framework 3 的路线，总结如下：
在这样的训练框架下，最终推理时是否要再次引入 inference-time scaling 模块，就是一个可选项了。只要 RL 过程做得充分好，那么直接用训完的 policy 模型就可以，完全不需要再做优化。
那么，为什么当时会认为 inference-time scaling 和 RL 应该是两个独立的过程呢？因为在当时的认知里，如果没有显式的引导，模型是不具备产生 Long CoT（乃至带反思的 CoT）的能力的。在模型训练初期，这个能力是指 formatting 模型，让它知道要产出这种格式的回答；在训练过程中再来慢慢提升这种回答的质量。这个显式引导就是指诸如 SFT 这样的过程。所以在这个认知里，上面的两个过程就应该是独立的。
而第一次发现这样的认知可能有问题，是在阅读相关万字长文时，有一句话格外引起兴趣：
'没有人为的刻意为之，模型在某种训练过程中自发出现了反思的行为。'
这句话的意思是：如果这一点都能实现，那是否意味着没有人为的刻意为之，模型本来也具备产生 Long CoT 的能力呢？如果是这样的话，那么 o1 可能除了数据工程 + 惯常的 RL 技巧外，整个系统要比想的简单很多。可是我的水平有限，实在不知道除了显式引导外，模型怎么可能自发产生这样的能力呢？
直到前几天，读到了 DeepSeek-R1 的技术报告，才发现：原来单纯的 RL 就可以激发模型产出带有 Long CoT（甚至是反思）的回复的能力！这里单纯的 RL 是指：并没有显式提供一些真正的 Long CoT 数据让模型去背去学，只是在 system message 里告诉模型先思考，再回答。接着通过 RL 一轮又一轮的训练，模型产出的 responses 越来越长，且在某个时刻出现了自我评估和反思的行为。这个实验探索就是 DeepSeek-R1-Zero 在做的事情。
如果 RL 有这种能力，那么 inference time scaling 和 RL 就可以不是两个独立的过程，而是在 RL 的过程里自发出现了 inference time scaling 的现象。而如果它们不再独立，那么类 o1 的训练架构也许就比我们想得要简单很多。
在 DeepSeek-R1 的报告里，提到了两个模型，分别是 DeepSeek-R1-Zero 和 DeepSeek-R1。总结来看：
DeepSeek 家的 GRPO，不是本文关注的重点，暂略。
在训练 DeepSeek-R1-Zero 时，采用了基于规则的奖励系统，主要包括两种类型的奖励：
<thinking> 和 </thinking> 标签之间。这种格式化有助于明确模型的推理步骤。为什么不使用神经网络式的 RM？
为了训练 DeepSeek-R1-Zero，首先设计了一个简单的模板，指导基础模型遵循我们指定的指令：
从中可以看出，这个模版就是 system message + question，整体作为 prompt。这里不是说用 SFT，而是说直接用这个 prompt 喂给 base 模型（就是 actor），同时由于 RM 是规则式的，不需要用数据训练了，所以接下来就可以正常走 RLHF 过程了。
和别的模型的性能比较这里略去，简单介绍一下对于 R1 Zero 性能重要的几个结论：
所以接下来探索 DeepSeek R1，这是独立于 R1 Zero 的正式训练流程了。可以说，R1 Zero 的训练是一个探索性的过程，它验证了 RL 本身对于激励模型产生推理的能力。在这个探索结论上，开始正式进入 R1 的训练。
R1 的训练总体训练过程如下：
冷启动数据收集的方法如下（共收集约千条）：
最后，我们要求冷启动数据遵从一定的数据格式：
|special_token|<reasoning_process>|special_token|<summary>
RM 衡量的内容有 2 方面（看样子也是规则式的）：
然后继续做类似于 R1 Zero 的 RL 过程。
这里新的 SFT 数据集来自两个方面，一共约 80w 条。
当前正在训练的模型产出的结果（Reasoning Data）
不是当前正在训练的模型产出的结果（No Reasoning Data）
再次回到 Base 模型上，首先用这 80w 的新数据对它做 2 个 epoch 的 SFT。
接着执行 2 个阶段的 RL：
当你观察上面对 R1 的两个阶段训练时，你会发现它们依然用到了 SFT，表现在：
那么看可能会有这样的疑问：如果还用 SFT，那前面 Zero 的实验是不是白做了？既然得到了 RL 本身就有激发模型做 Long CoT 和反思的能力，那要 SFT 干嘛？这岂不是和开头所说的 RL 中实现 Inference Time Scaling 有矛盾吗？
这里谈一下我的理解：
首先，总体来看，SFT 的作用是为了让模型拥有一个好的训练起点。具体来说，在冷启动阶段，你只是用了千条数据做 SFT 而已；在第 2 阶段，虽然使用了 80w 这一较多数量的数据，但这波数据的使用是一次性的，你不需要让这个过程贯穿在 RL on-policy 训练的每个 step。而且相比于设计一个复杂独立的 Inference 系统，它的生成是容易的。这里做的事情不过是让模型拥有强壮的训练起点。
而在拥有这个起点之后，更强的推理和反思能力，则是靠 RL 来做，这正是受到 Zero 的启发。
使用以上 80w 数据，对 Llama 和 Qwen 系的部分 Dense 模型做 SFT，然后检测这些模型的推理能力。
结论：对于小模型，不需要依然 RL，只用蒸馏就可以使得其推理能力得到显著提升（对于大模型会是怎么样的，这里没有提）。
DeepSeek-R1 系列的研究揭示了大模型推理能力涌现的新路径。核心启示在于：
总体而言，DeepSeek-R1 不仅是一个模型，更是对大模型训练范式的探索。它提示我们，强化学习在激发模型内在推理潜能方面具有巨大的空间，未来或许会有更多研究聚焦于如何通过 RL 而非单纯的数据堆砌来提升模型智能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online