LLM 推理思维链变体：TOT、GOT、AOT、SoT 与 PoT 详解

6. 思维图 Graph of Thoughts（GOT）核心思想是什么？

将推理过程建模为有向图 G =（V，E），其中 V 是顶点集，E 是边缘集。顶点包含手头问题的解决方案（无论是初始、中级还是最终问题）。这种思维的具体形式取决于用例；它可以是一个段落（在写作任务中）或一个数字序列（在排序中）。有向边（t1，t2）表示思维 t2 是用思维 t1 作为'直接输入'构建的，即通过显式指示 LLM 用 t1 生成 t2。

为了推进这个过程，将思维转换应用于 G。这种转变的一个例子是将得分最高的思维（到目前为止）合并到一个新思维中。另一个例子是循环考虑一个思维，增强它。请注意，这些转换结构严格扩展了 CoT，CoT-SC（自一致性的多 CoT）或 ToT 中可用的转换集。

三种核心操作

• 聚合（Aggregation）：即将几个想法融合成一个统一的想法。
• 精化（Refinement）：对单个思想进行连续迭代，以提高其精度。
• 生成（Generation）：有利于从现有思想中产生新的思想。

7. 为什么需要思维算法 Algorithm of Thoughts（AOT）？

已有的研究强调，人类在解决复杂问题时会本能地借鉴过去的经历，确保自己进行全面思考而不是狭隘地关注某一细节。LLM 生成范围仅受其 token 限制限定，似乎是注定要突破人类工作记忆的阻碍。

受这一观察启发，研究者探究了 LLM 能否实现类似的对想法的分层探索，通过参考之前的中间步骤来筛除不可行的选项 —— 所有这些都在 LLM 的生成周期内完成。而人类长于直觉敏锐，算法善于组织化和系统性的探索。CoT 等当前技术往往回避了这种协同性潜力，而过于关注 LLM 的现场精度。通过利用 LLM 的递归能力，研究者构建了一种人类 - 算法混合方法。其实现方式是通过使用算法示例，这些示例能体现探索的本质 —— 从最初的候选项到经过验证的解决方案。基于这些观察，研究者提出了思维算法（Algorithm of Thoughts / AoT）。

8. 思维算法 Algorithm of Thoughts（AOT）思路是什么？

利用 LLM 的迭代能力，在一次统一的生成式扫描中解决它们。通过限定自己仅能进行一两次 LLM 交互，该方法可以自然地整合来自之前的上下文候选项的洞见，并解决需要对解答域进行深度探索的复杂问题。对于这些思维的大小应当如何以及应该为 LLM 提供何种类型的上下文示例，从而提升 token 效率。

AOT 实施步骤

1. 分解成子问题：给定一个问题，就算不看实际解决问题方面，构建一个描述可行推理路径的搜索树已经是一项艰巨的任务。任何分解都不仅要考虑子任务之间的相互关系，还要考虑解决各个问题的难易程度。
2. 为子问题提议解答：现目前的一种主流方法涉及到直接采样 LLM token 输出概率。尽管这种方法对一次性答案有效（有一定的限制），但也无力应对一些场景，比如需要将样本序列整合进后续 prompt 中或在后续 prompt 中评估。为了尽可能减少模型查询，研究者采用了一种不间断的解答创建过程。即不带任何生成停顿，为主要子问题直接和连续地生成解答。
3. 衡量子问题的前景：如上所述，现有技术依靠额外的提示来识别树节点的潜力，帮助做出有关探索方向的决策。而研究者的观察表明，如果能将最有前途的路径封装在上下文示例中，LLM 会固有地倾向于优先考虑那些有前途的候选项。这能降低对复杂 prompt 工程设计的需求并允许整合复杂精细的启发式方法，不管这些方法是直觉式的或知识驱动的。同样，新方法中不含脱节的 prompt，这使得能在同一个生成结果中即时评估候选项的可行性。
4. 回溯到更好的节点：决定接下来要探索的节点（包括回溯到之前的节点）本质上取决于所选的树搜索算法。尽管之前已有研究为搜索过程采用了编码机制等外部方法，但这会限制其更广泛的吸引力并需要额外的定制。这篇论文提出的新设计主要采用 DFS 方法并辅以剪枝。目标是维持有同一父节点的子节点之间的近邻度，以此鼓励 LLM 优先考虑本地特征而不是远程特征。此外，研究者还提出了基于 BFS 的 AoT 方法的性能指标。研究者表示，借助于模型从上下文示例中收集见解的固有能力，可以消除额外的定制机制的必要性。

9. 思维框架 Skeleton-of-Thought（SoT）是什么？

思维框架（SoT）范式的独特设计主要是为了减少端到端生成延迟的挑战，而不是为了增强大型语言模型（LLM）的推理能力。

这种方法采用双阶段方法，首先制定答案的初步蓝图，然后进行全面扩展。

SoT 工作流程

1. 骨架阶段：在最初的骨架阶段中，系统不会生成全面的响应，而是提示模型生成简洁的答案骨架。通过精心制作的骨架模板，这种缩写表达抓住了预期答案的核心元素，从而为下一阶段奠定了基础。
2. 扩展阶段：在接下来的扩展阶段中，LLM 系统会对答案骨架中的每个组成部分进行放大。它利用点扩展提示模板，同时阐述骨架的每个片段。

这种方法特别适用于生成长文本的场景，能够显著降低首字延迟（Time to First Token）并优化整体生成效率。

10. 思维程序 Program-of-Thought（PoT）是什么？

思维程序（PoT）是一种独特的 LLM 推理方法。它不仅仅是生成自然语言答案，而是要求创建一个可执行程序，可以在 Python 等程序解释器上运行，从而产生实际的结果。

与直接模型相比，这种方法强调将推理分解为顺序步骤，并将语义与变量相关联的能力。因此，PoT 提供了一个更清晰、更具表达力和基础的答案推导模型，提高了准确性和理解力，尤其是对于需要进行数值计算的数学类型逻辑问题。

需要注意的是，PoT 的程序执行不一定针对最终答案，而是可以作为最终答案的中间步骤的一部分。通过引入代码执行环境，PoT 能够有效规避 LLM 在算术计算上的幻觉问题。

总结与对比

选择合适的推理策略取决于具体的任务需求。如果需要极高的计算准确性，PoT 是首选；如果需要处理复杂的规划问题，TOT 或 GOT 更为合适；而对于长文档生成，SoT 能有效优化体验。开发者应根据实际业务场景灵活组合这些技术。