OpenAI o1 大模型研究进展报告：旅程学习与复现探索

模型生成的例子

技术细节是什么？o1 技术探索之旅

如图所示，从 OpenAI o1 9 月 12 日发布的过去三周内，该团队对 o1 技术已经完成了系统化、多阶段的探索。这个过程始于使用 OlympicArena 数据集对 o1 进行初步评估，旨在全面了解其在多个学科领域的认知能力。研究的核心集中在 o1 思维结构的分析上，特别关注'长思维'这一关键概念。

整个探索技术涉及多个复杂的步骤，包括奖励模型的开发、在策略推理树的构建，以及将这些元素整合为连贯的长思维过程。整个研究过程采用了迭代和并行的方法。进行了多次尝试，不断调整和完善技术和方法。

团队凝炼了复现 o1 过程中的几个关键问题，并做了非常细致的探索分享：

1. o1 的思维链是什么样子的？
2. 长思维 (Long thought) 是如何工作的？
3. 如何构建长思维？
4. 如何构建奖励模型？
5. 如何构建 on-policy 推理树？
6. 如何从推理树中推导出长思维？
7. 如何评估我们的尝试方法？
8. 如何训练我们的模型？
9. 什么是人类和 AI 协同标注的有效策略？

Q1: o1 的思维链是什么样子的？

观测： 这些示例被分类为不同的问题类型，每种类型都与一个难度级别相关联。分析显示了一个趋势：随着难度的增加，响应长度（包括标记数和行数）往往成比例增长。这表明更高难度的问题涉及更多的推理步骤。

除了标记数和行数外，团队还进行了关键词频率分析。除了常见的连接词如'and'和'so'之外，分析还突出了几个出现频率较低但意义重大的关键词。'consider'、'if'和'possible'等关键词经常出现，通常表示推理过程中的分支，考虑多条路径。

像'wait'和'Alternatively'这样的关键词是模型能够进行反思和自我纠正的重要指标。这表明模型具有更深入的理解和更细致的推理方法。

为了理解 OpenAI 的 o1 的思维过程，团队让两位博士水平学生仔细审查 OpenAI 的 o1 在解决数学问题时使用的推理过程。经过这些探索，团队确定需要构建的长思维数据应具有以下特征：

• 迭代式问题解决：模型首先定义函数，然后逐步探索相关表达式。
• 关键思维指标：使用'Therefore'表示结论，'Alternatively'探索不同路径，'Wait'表示反思。
• 递归和反思方法：模型经常重新评估和验证中间结果。
• 假设探索：模型测试不同的假设，随着获得更多信息而调整其方法。
• 结论和验证：最后，模型解方程并验证结果。

Q2: 长思维 (Long thought) 是如何工作的？

团队认为 o1 长思维方法的显著成功可以归因于在上述中介绍的旅程学习 (Journey Learning)。与传统的捷径学习 (Shortcut Learning) 不同，旅程学习允许模型探索整个决策轨迹，模仿人类的问题解决过程。这种方法培养了对问题领域更深入的理解，不仅仅是知道正确答案，而是理解为什么以及如何得出答案。

Q3: 如何构建长思维？

尝试 1：基于 LLM 和奖励的树搜索 为实现这一点，需要构建一棵推理树，其中根节点代表问题，其他每个节点代表一个推理步骤。通过在具有过程级奖励的推理树上执行搜索算法，可以将错误步骤整合到思维链中。

尝试 2：提议 - 批评循环 团队构建了一个提议 - 批评循环，其中为模型预定义了一些可能的行为（即继续、回溯、反思、终止），并让模型自身选择行为来构建推理树。

尝试 3：多智能体方法 设计了一个利用多智能体辩论的算法，其中一个智能体充当策略模型，持续推理，而另一个智能体充当评论模型，指示策略模型是否应该继续当前推理或执行回溯等行为。

尝试 4：完整的人类思维过程注释 忠实且全面地记录人类解决推理任务的过程，从而产生高质量的长思维。

Q4: 如何构建奖励模型？

团队将评估粒度定义在步骤层面。具体来说，团队使用来自 Abel 的微调数据，通过行号使解决方案变得清晰可辨。团队比较了不同奖励模型在 PRM800K 和 MR-GSM8K 子集上的元评估表现。结果显示，o1-mini 在不同数据集上表现最佳，证明其是一个良好的奖励模型。

Q5: 如何构建 on-policy 推理树？

构建推理树需要一个能够执行单步推理的策略模型。给定一个问题及其相应的最终答案，策略模型从问题作为根节点开始，不断向树中添加新节点。

策略模型和步骤分段 团队采用 Abel 提出的数据格式，将数学问题解决方案转化为具有清晰步骤的形式。使用 Abel 数据集对 DeepSeekMath-7B-Base 进行微调，得到 Abel-DSMath，作为策略模型。

奖励模型和剪枝 上述提出的树生成算法计算成本高昂。因此，使用奖励模型来剪除错误的推理步骤，提高操作效率。具体来说，团队采用束搜索，在每次迭代中只选择少量候选项保留到下一轮。最终使用 o1-mini 为每个步骤提供奖励，直接指示每个推理步骤是否正确。

Q6: 如何从推理树中推导出长思维？

一旦构建了推理树，目标就变为探索如何从推理树转换为包含试错过程的长思维。

从推理树构建捷径 首先从推理树构建捷径，其中只包括正确答案和有效的中间步骤。

遍历推理树 为了得到长思维，采用深度优先搜索（DFS）遍历树。这种遍历按 DFS 顺序构建路径，记录从根问题节点到正确答案叶节点的每一步，同时包括任何被标记为错误的节点的推理。

从遍历路径得到长思维 生成遍历路径并将推理附加到错误节点后，通过连接路径中的所有步骤来构建长思维。初步实验表明，使用这个形式的长思维数据来训练模型的性能不佳。为解决这个问题，团队尝试使用 GPT-4o 来修改草稿，增强了思维过程的连贯性和流畅性。

Q7: 如何评估我们的尝试方法？

除了使用特定评估指标在基准测试上测试准确率分数外，人工审查实际案例是关键步骤。团队构建了一个可视化数据分析平台，支持详细的条件过滤，例如过滤正确或错误回答的问题，或输出是否包含表示反思或犹豫的关键词。

Q8: 如何训练我们的模型？

团队实验使用预训练语言模型 deepseek-math-7b-base。训练过程分为两个主要阶段：监督微调（SFT）和直接偏好学习（DPO）。

第一阶段：监督微调（SFT）

1. 初始阶段：专注于使用只包含正确中间步骤和最终正确答案的响应来微调模型。
2. 旅程学习：使用构建的长思维（包含 327 个示例）进一步微调初始阶段的 SFT 模型。这个阶段旨在增强模型发现错误、自我反思、自我修正和执行回溯的能力。

第二阶段：直接偏好学习（DPO） 在这个阶段，使用核采样从 MATH Train 数据集为每个问题生成 20 个回复。从中，随机选择 5 个正面响应和 5 个负面响应来创建 5 对偏好对。然后，使用这些偏好对和 DPO 损失来训练模型。

Q9: 什么是人类和 AI 协同标注的有效策略？

团队开发了一种人类和 AI 协作的数据标注流程，用于生成基于 MATH 数据集的高质量、长文本推理数据。

完整的思维过程：标注者不必详细记录每一个想到的词语，但必须记录每一个尝试、反思、联想和修正的过程。 补充解释常识：高质量的数据必须包括对常识性知识的明确解释，以防止大模型的误解。

遵循以上两个关键要素，人类专家即可完成数据标注。下一阶段，通过设计复杂的提示词，我们通过大语言模型实现了数据扩展和增强。

为什么科学进展报告很重要？

研究团队表示：传统发论文方无法适应新的科研范式，人工智能技术的快速发展开创了一个新的研究范式时代。团队的进展报告方法旨在通过增强透明度、促进实时反馈和认可，以及鼓励对长期研究计划的持续承诺来解决这些新出现的挑战。

通过全面记录探索过程，包括成功和失败，团队正在培育一个独特而宝贵的数据集。这份全面的记录对于训练真正理解科学方法的 AI 模型至关重要。

下一步探索

团队根据的研究时间线和取得的进展，确定了几个未来探索和发展的关键方向：

1. 扩展长思维的合成：处理更复杂和多样的思维模式。
2. 长思维扩展定律实验：理解模型的性能和能力如何随着数据、模型大小和计算资源的增加而扩展。
3. 细粒度、以思考为中心的评估：开发和实施更复杂的评估方法。
4. 人机协作以提高思考质量：探索和利用人类智能和 AI 能力的共同优势。
5. 持续改进奖励和批评模型：进一步完善这些系统。
6. 推理树的合成优化：探索从推理树中推导和集成长思维更复杂、有效的方法。
7. 扩展训练方法：包括增加预训练阶段、强化学习、偏好学习和 DPO。
8. 持续的透明度和资源共享：将继续分享在整个科研旅程中开发的资源。
9. 探索多代理方法：深入研究这一领域。
10. 完善分析工具：进一步开发和增强分析工具。

核桃计划

团队借本项目正式引出'核桃计划'。团队成员表示：'对 o1 技术路线的探索及复现工作，仅仅是我们核桃计划的一部分。核桃计划旨在成为人工智能复杂推理和深度思考能力研究的开放先锋，致力于推动 AI 从简单的信息处理工具演变为具备'牛顿'和'爱因斯坦'级别深度思考能力的智能系统。'