DeepSeek R1-Zero 等模型正在打破人类数据瓶颈，开启 AI 自我进化新范式。
相比 DeepSeek 同一时间发布的 R1，R1-Zero 更值得关注。这是 ARC Prize 联合创始人 Mike Knoop 在一篇新博客中发表的观点。他认为，R1-Zero 之所以比 R1 更值得分析，是因为它完全依赖强化学习（RL），而不使用人类专家标注的监督微调（SFT）。这表明在某些任务中，人类标注并非必要，且未来可能通过纯 RL 方法实现更广泛的推理能力。
此外，R1 和 R1-Zero 的成功还能让我们读出一些信息：
- 通过投入更多计算资源，AI 系统的准确性和可靠性可以显著提升，这将增强用户对 AI 的信任，推动商业化应用。
- 推理过程正在生成大量高质量的训练数据，且这些数据由用户付费产生，这种「推理即训练」的新范式可能彻底改变 AI 数据经济的运作方式，形成自我强化的循环。
以下是博客内容的深度整理与分析：
R1-Zero 比 R1 更值得分析
上周，DeepSeek 发布了他们新的「推理」系统 R1-Zero 和 R1。两个模型在 ARC-AGI-1 上的得分与 OpenAI 的 o1 系统低计算量版本相当。R1-Zero、R1 和 o1（低计算量模式）的得分都在 15-20% 左右。相比之下，纯 LLM scaling 多年积累的顶点 GPT-4o 仅为 5%。根据本周美国市场反应，公众也开始理解纯 LLM scaling 的局限性。然而，对即将到来的推理需求，公众仍普遍认识不足。
2024 年 12 月，OpenAI 宣布了一个经过验证的新突破性系统 o3。该系统在低计算量模式下得分为 76%，在高计算量模式下得分为 88%。o3 系统展示了计算机适应新颖未见问题的首个实用、通用实现。尽管 o3 在 ARC-AGI-1 上取得胜利是重大科技新闻，但主流媒体几乎未予报道。这是 AI 领域和计算机科学的一个极其重要的时刻，这些系统值得研究。
但由于 o1/o3 的封闭性质，只能依靠推测。得益于 ARC-AGI-1 和现在（几乎）开源的 R1-Zero 和 R1，我们可以增进对此的理解。特别是，R1-Zero 比 R1 重要得多。
在对 o1 和 o3 的分析中，ARC Prize 团队针对这些推理系统的工作原理进行了推测。他们认为，这些模型的关键思路可能是：
- 为问题域生成思维链（Chain of Thought, CoT）。
- 使用人类专家（监督微调或 SFT）和自动化机器（强化学习 RL）的组合来标注中间 CoT 步骤。
- 使用上述得到的数据训练基础模型。
- 在测试时，从过程模型中进行迭代推理。
有了 DeepSeek 新发表的研究，ARC Prize 团队可以更好地为自己的猜测提供信息。这里的关键见解是，LLM 推理系统实现更高程度地适应新任务的能力（和可靠性）是通过三个维度实现的：
维度 1：在 CoT 过程模型训练中添加人类标签（即 SFT） 此维度受限于人类数据生成，并限制了这些推理系统在哪些领域收益最大。例如，o1 在 MMLU 专业法律类别上的表现出人意料地比数学和逻辑要低得多。这是因为法律领域的推理需要特定的专业知识标注，而数学和逻辑可以通过规则验证。
维度 2：使用 CoT 搜索而不是线性推理（并行逐步 CoT 推理） 维度 3：整体 CoT 采样（并行轨迹推理） 这两个维度受限于效率。o1 和 o3 在测试时都显示了随着推理计算量的增加，在 ARC-AGI-1 上的基准准确率呈对数增长，而不同的计算资源分配策略会影响达到同样性能水平所需要的具体计算量。
在该团队看来，DeepSeek 最有趣的做法是单独发布 R1-Zero。R1-Zero 是一个不使用 SFT（维度 1）的模型，而是完全依赖于强化学习。R1-Zero 和 R1 在 ARC-AGI-1 上的得分高度一致，分别为 14% 和 15.8%。DeepSeek 自己报告的基准测试分数也显示 R1-Zero 和 R1 高度一致，例如在 MATH AIME 2024 上的得分分别为 71% 和 76%（相比基础 DeepSeek V3 的约 40% 有所提升）。
在论文中，R1-Zero 的作者提到「DeepSeek-R1-Zero 面临可读性差、语言混杂等挑战」，这一点已在网上得到证实。然而在测试中，ARC Prize 团队在测试 R1-Zero 在 ARC-AGI-1 上的表现时几乎没有发现不连贯的证据，这与系统经过 RL 训练的数学和代码领域相似。
综合这些发现，ARC Prize 团队得出结论：
- 在那些能够清晰判断对错的领域中，SFT（如人类专家标注）对于准确和易读的 CoT 推理并非必需。
- R1-Zero 训练过程能够通过 RL 优化在 token 空间中创建自己的内部领域特定语言（DSL）。
- SFT 是提高 CoT 推理领域泛化性的必要条件。
这很符合直觉，因为语言本身实际上就是一个推理 DSL。完全相同的「词语」可以在一个领域中学习并应用到另一个领域，就像程序一样。纯 RL 方法还不能发现广泛共享的词汇表，预计这将成为未来研究的重点。
最终，R1-Zero 展示了一个潜在 scaling 机制的原型，该机制完全没有人类瓶颈 —— 甚至在训练数据获取本身也是如此。
几乎可以肯定的是，DeepSeek 已将目标对准了 OpenAI 的 o3 系统。重要的是要关注 SFT 是否最终会成为添加 CoT 搜索和采样的必要条件，或者假设的「R2-Zero」是否可能沿着相同的对数准确率与推理 scaling 曲线存在。基于 R1-Zero 的结果，ARC Prize 团队认为在这个假设的 scaled up 版本中，要在 ARC-AGI-1 上挑战成功并不需要 SFT。
