DeepSeek-R1 技术解读：强化学习与推理能力的激发机制

为什么不使用神经网络式的 RM？

• Reward Hacking（奖励黑客行为）
• 训练资源与复杂性

2.3 RL 数据的 prompt 设计

为了训练 DeepSeek-R1-Zero，首先设计了一个简单的模板，指导基础模型遵循我们指定的指令：

从中可以看出，这个模版就是 system message + question，整体作为 prompt。这里不是说用 SFT，而是说直接用这个 prompt 喂给 base 模型（就是 actor），同时由于 RM 是规则式的，不需要用数据训练了，所以接下来就可以正常走 RLHF 过程了。

2.4 关于 Zero 的重要结论

和别的模型的性能比较这里略去，简单介绍一下对于 R1 Zero 性能重要的几个结论：

1. R1 Zero 证明了无需 SFT，直接用 Base Model 做 RL，已经可以取得强大的 reasoning 能力。
2. 使用多数投票策略（例如对一条 prompt 采样多次，取出现次数最多的那个答案）可以进一步增强模型性能。
3. 随着训练 steps 的增加，R1 Zero 倾向于产出更长的 response（Long CoT），并且还出现了反思行为。这些都是在没有外部干预的情况下，R1 Zero 模型在训练中自我进化的结果。
   • Response 的长度随着训练时间增加而变长（思考得更多了）
   • R1 Zero 自然而然学会了重新评估和反思

2.5 Zero 的缺陷

• 可读性差
• 多种语言混合

所以接下来探索 DeepSeek R1，这是独立于 R1 Zero 的正式训练流程了。可以说，R1 Zero 的训练是一个探索性的过程，它验证了 RL 本身对于激励模型产生推理的能力。在这个探索结论上，开始正式进入 R1 的训练。

三、DeepSeek-R1

R1 的训练总体训练过程如下：

1. 从 Base 模型开始：
   • 使用量少、质量高的冷启动数据（cold data）来 SFT Base 模型，使得 Base 模型可以有个良好的初始化
   • 使用 RL 提升模型的推理能力
   • 在 RL 阶段接近收敛时，用这个时候的 checkpoint 生成高质量的数据，将它们与现有的 SFT 数据混合，创建新的 SFT 数据集
2. 再次从 Base 模型开始：
   • 使用新创建的 SFT 数据集做 Finetune
   • 执行二阶段 RL
   • 得到最终的 R1

3.1 使用冷启动数据做 SFT

冷启动数据收集的方法如下（共收集约千条）：

• Few-shot：用带有 Long CoT 的例子作为 few-shot，引导模型生成回答（引导的是 Base 模型）
• 直接在 Prompt 中，要求模型生成带有反思和验证的回答（引导的也是 Base 模型）
• 收集前面对 R1 Zero 的部分结果
• 使用人工对数据做一些后处理

最后，我们要求冷启动数据遵从一定的数据格式：

|special_token|<reasoning_process>|special_token|<summary>

• 使用这千条冷启动数据，对 Base 模型进行 SFT。

3.2 冷启动 SFT 后的 RL

RM 衡量的内容有 2 方面（看样子也是规则式的）：

1. 语言混合问题：这里 RM 在打分时，也要对语言一致性进行打分（计算目标语言词汇的比例）
2. 答案的准确性

然后继续做类似于 R1 Zero 的 RL 过程。

3.3 创建新的 SFT 数据集

这里新的 SFT 数据集来自两个方面，一共约 80w 条。

1. 当前正在训练的模型产出的结果（Reasoning Data）

   • 取 RL 接近收敛时的 checkpoint
   • 构造 Prompt 模版，使用拒绝采样的方式来筛选轨迹数据。在判断一条轨迹是否应该保留时，除了使用之前规则式的 RM，还会引入 DeepSeek V3 作判断（比如这条轨迹所指向的答案和 V3 的结果是否一致）。引入多个判断标准的目的是为了更好扩展数据集，保证多样性。
   • 最后在做一些过滤，这部分收集约 60w 条新 SFT 数据集

2. 不是当前正在训练的模型产出的结果（No Reasoning Data）

   • 已经有的高质量 SFT 数据集（DeepSeek V3 做 SFT 的数据集）
   • 通过 Prompt 引导 DeepSeek V3 产出的有 CoT 的数据集等
   • 这部分大约收集了 20w

3.4 使用新的 SFT 数据集继续 Finetune，并做 RL

再次回到 Base 模型上，首先用这 80w 的新数据对它做 2 个 epoch 的 SFT。

接着执行 2 个阶段的 RL：

1. 第 1 阶段 RL：旨在增强模型推理方面的能力。采取类似 R1 Zero 的 RL 方法，使用基于规则的 RM，对模型进行 RL 训练，以提升模型在数学、代码和逻辑方面的推理能力。（这里用的数据集应该不是那 80w，是类似于 Zero 直接构建 Prompt）
2. 第 2 阶段 RL：旨在针对模型的 Helpfulness 和 Harmlessness，类似于 DeepSeek V3 的训练 Pipeline。

3.5 为什么还有 SFT 的过程

当你观察上面对 R1 的两个阶段训练时，你会发现它们依然用到了 SFT，表现在：

• 在第 1 阶段，使用千条冷启动数据做 SFT，这千条冷启动数据都是带有 Long CoT 的 Reasoning Data
• 在第 2 阶段，使用约 80w 条新的数据做 SFT，这里有 60w Reasoning Data 和 20w General Data。

那么看可能会有这样的疑问：如果还用 SFT，那前面 Zero 的实验是不是白做了？既然得到了 RL 本身就有激发模型做 Long CoT 和反思的能力，那要 SFT 干嘛？这岂不是和开头所说的 RL 中实现 Inference Time Scaling 有矛盾吗？

这里谈一下我的理解：

首先，总体来看，SFT 的作用是为了让模型拥有一个好的训练起点。具体来说，在冷启动阶段，你只是用了千条数据做 SFT 而已；在第 2 阶段，虽然使用了 80w 这一较多数量的数据，但这波数据的使用是一次性的，你不需要让这个过程贯穿在 RL on-policy 训练的每个 step。而且相比于设计一个复杂独立的 Inference 系统，它的生成是容易的。这里做的事情不过是让模型拥有强壮的训练起点。

而在拥有这个起点之后，更强的推理和反思能力，则是靠 RL 来做，这正是受到 Zero 的启发。

四、蒸馏 Dense 模型

使用以上 80w 数据，对 Llama 和 Qwen 系的部分 Dense 模型做 SFT，然后检测这些模型的推理能力。

结论：对于小模型，不需要依然 RL，只用蒸馏就可以使得其推理能力得到显著提升（对于大模型会是怎么样的，这里没有提）。

五、总结与展望

DeepSeek-R1 系列的研究揭示了大模型推理能力涌现的新路径。核心启示在于：

1. RL 的潜力被低估：R1-Zero 证明无需大量 SFT 数据，仅凭规则奖励和强化学习即可激发模型的自我反思和长链推理能力。这降低了高质量推理数据的获取门槛。
2. 训练架构的简化：传统的'预训练 -> SFT -> RLHF'流水线中，SFT 往往被视为必要环节。但 R1 表明，SFT 更多是提供初始状态，核心的推理能力可以通过 RL 在训练过程中动态演化出来。这意味着未来的训练架构可能更加轻量化，减少了对昂贵标注数据的依赖。
3. 推理与训练的统一：过去认为 Inference-time Scaling（如思维链生成）需要专门的推理系统支持，而 R1 展示了这种能力可以在训练阶段通过 RL 内化到 Policy 模型中。这为降低推理成本提供了新思路。
4. 蒸馏的有效性：对于中小规模模型，直接从大模型蒸馏推理能力比从头训练 RL 更高效，这为推理能力的普惠化提供了可行方案。

总体而言，DeepSeek-R1 不仅是一个模型，更是对大模型训练范式的探索。它提示我们，强化学习在激发模型内在推理潜能方面具有巨大的空间，未来或许会有更多研究聚焦于如何通过 RL 而非单纯的数据堆砌来提升模型智能。