OpenAI O1 模型复现思想与多模态大模型在数学推理中的应用总结

目前已知的尝试包括 k0-math、skywork-o1、Deepseek-R1、QwQ 和 InternThinker 等，其中部分模型尚未完全开源。以下是对主要复现路径的详细分析：

提示工程与自我反思

g1 是最早尝试重新实现 o1 的项目之一，采用的方法是提示工程。其核心在于提示大型语言模型进行自我反思并提出多种解决方案，以此克隆 o1 的行为模式。

Thinking Claude 的工作方式与 g1 类似，它通过更复杂和细粒度的动作提示大型语言模型，如问题分析和进度跟踪。g1 和思考克洛德都能重塑大型语言模型的行为，使其类似于 o1，但目前尚未在大规模推理基准测试中得到充分验证。

监督微调与数据构建

Open-o1 提供了一个安全函数训练（SFT）数据集，其中每个回应都包含较长的上下文。虽然数据来源尚不明确（可能来自人类专家或强大的 LLM），但实验发现，在该数据集上训练 llama-3-8b 和 qwen-7b 不仅能够塑造模型回应的风格以模仿 o1，还能显著提高模型在推理基准测试上的表现。

o1 Journey 采用了更为复杂的流程。在第一部分中，通过束搜索生成的树状数据被遍历，特定节点由 GPT-4 进行精炼，然后用于监督式微调。论文中呈现的例子突出了模型的自我反思能力，这来自于 GPT-4 的精炼过程。该方法可描述为专家迭代，其中 SFT 应用于通过搜索生成的数据。此外，还将 o1-mini 注释的 PRM 与 Math-Shepherd 进行了比较，研究发现 o1-mini 的性能优于 Math-Shepherd。

在第二部分中，引入了截然不同的方法。第一部分侧重于强化学习，而第二部分则尝试蒸馏 o1-mini。尽管 o1-mini 隐藏了思维链（CoT）并且只输出 CoT 的摘要，第二部分则尝试通过提示 o1-mini 来增强摘要，从而恢复隐藏的 CoT。通过蒸馏，发现在 AIME 上 Qwen-72B 的性能优于 o1-preview。然而，这并不意味着蒸馏使得学生模型能够超越教师模型，因为 o1-mini 在 AIME 上也超越了 o1-preview。

强化学习与搜索算法

Open-Reasoner 的框架类似于 AlphaGo，利用强化学习来提升模型性能。在测试阶段，采用蒙特卡洛树搜索（MCTS）来确定最优解。这个搜索算法仅在测试期间应用，而训练数据则是通过当前策略进行采样得到的。此外，采用了与 Math-Shepherd 类似的方法来训练奖励模型。

Slow Thinking with LLMs 与 o1 Journey 类似，第一部分与 Open-Reasoner 类似，结合了强化学习和测试时搜索。但与开放式推理器不同的是，它在训练期间采用了 DPO 算法而不是 PPO 算法。在测试阶段，它还采用 MCTS 算法进行搜索。第 2 部分从 QwQ 和 Deepseek-R1 蒸馏出知识，并尝试了两种强化学习方法：DPO 和 SFT，使用来自拒绝采样的数据进行训练。研究发现，通过从 QwQ 和 Deepseek-R1 中蒸馏成千上万个例子，可以在具有挑战性的推理任务上显著提高性能，而基于蒸馏的强化学习可以带来进一步的改进。

Marco-o1 整合了 Open-o1 的数据和模型自身生成的数据，通过 MCTS 算法进行 SFT 训练。Marco-o1 展示了在每一步 MCTS 过程后提示模型进行自我反思，增强了搜索的有效性。

o1-coder 尝试在代码生成上重新实现 o1。训练一个生成器来生成测试用例以提供结果奖励。有了结果奖励，使用 MCTS 算法生成代码解决方案，然后用于通过 SFT 改进策略模型。按照 Wang 等人（2024c）的方法训练了一个 PRM，该方法随着策略的改进而更新。

基于强化学习的复现路线图

关于这块的总结，可以参考最近的进展，《Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective》。该路线图详细阐述了如何通过强化学习视角复现 o1 模型，主要包括四个关键组件：策略初始化、奖励设计、搜索和学习。

1. 策略初始化

策略初始化使模型具备基本推理行为，能够有效探索复杂问题的解空间。预训练和指令微调是策略初始化的两个主要阶段。预训练通过大规模文本语料库学习基本的语言理解和推理能力；指令微调则将预训练的语言模型转化为面向任务的代理，使其能够遵循特定的指令格式进行推理。

2. 奖励设计

奖励设计为搜索和学习提供指导信号。过程奖励模型（PRM）比结果奖励模型（ORM）更适合复杂的推理任务，因为它不仅奖励最终结果，还奖励中间步骤的正确性。这种密集的信号有助于模型在长链条推理中保持方向正确。也可以将稀疏的结果奖励转化为密集的过程奖励，从而提高训练的稳定性。

3. 搜索

搜索在训练和测试阶段都起着重要作用。训练时搜索生成高质量的训练数据，测试时搜索通过迭代改进模型的策略。树搜索算法如蒙特卡罗树搜索（MCTS）和束搜索（Beam Search）在生成高质量解决方案方面表现出色。MCTS 通过平衡探索与利用，能够在巨大的解空间中找到最优路径。

4. 学习

学习利用搜索生成的数据进行策略改进。策略梯度方法和行为克隆是两种主要的学习方法。策略梯度方法如近端策略优化（PPO）和直接策略优化（DPO）通过梯度上升更新策略，最大化期望奖励。行为克隆则通过监督学习逼近专家策略，适用于有高质量演示数据的情况。

总结

本文主要探讨了大模型推理方面的工作，重点总结了多模态大模型在数学推理领域的挑战与方案，以及 OpenAI o1 模型的复现跟进情况。多模态数学推理面临视觉提取、跨域泛化和错误纠正等多重挑战，现有方案主要通过推理器、增强器和规划器三种范式进行应对。在 o1 模型复现方面，从提示工程、监督微调到强化学习与搜索算法，多种技术路径正在并行发展。未来的研究将继续围绕强化学习的四大核心组件展开，以期实现更高效、更可靠的通用推理能力。