本文深入探讨了 LLM 反思工作流的三种典型技术：Self-Refine、CRITIC 和 Reflexion。Self-Refine 通过单一模型的迭代反馈优化输出；CRITIC 利用外部工具交互验证并修正结果；Reflexion 则引入语言强化学习和长期记忆机制，使 Agent 能从失败中积累经验。文章分析了各方法的原理、架构及在数学、编程等任务上的性能提升数据，并通过代码示例和对比表格展示了不同场景下的应用策略，强调了自我反思在提升大模型复杂任务处理能力中的重要性。
大语言模型（LLM）在复杂任务中往往面临幻觉或逻辑错误的问题。为了解决这一问题，研究者提出了多种基于'反思（Reflection）'的工作流模式，通过迭代反馈和自我修正来提升输出质量。本文将深入探讨三种典型的反思优化技术：Self-Refine、CRITIC 和 Reflexion。
Self-Refine 是一种利用单一 LLM 进行生成、改进和反馈的技术。其核心思想是让模型充当自己的批评者，通过多轮迭代优化初始输出。
该方法在对话生成、数学推理和代码编写等任务上表现优异，相比传统的一步生成方法，平均性能提升约 20%。
以下是一个简化的 Self-Refine 伪代码实现逻辑，展示了如何通过循环调用 API 实现自我修正：
import openai
def self_refine(prompt, max_iterations=3):
current_output = generate_initial_response(prompt)
for i in range(max_iterations):
# 让模型评估当前输出并提供改进建议
feedback_prompt = f"请分析以下回答的优缺点，并提出改进建议：\n{current_output}"
feedback = generate_response(feedback_prompt)
# 结合反馈生成新版本
improvement_prompt = f"基于以下反馈改进回答：\n反馈：{feedback}\n原回答：{current_output}"
current_output = generate_response(improvement_prompt)
print(f"Iteration {i+1}: {current_output}")
return current_output
CRITIC 框架允许大型语言模型通过与外部工具的交互来验证和改进输出。这种模式模拟了人类使用工具（如搜索引擎、计算器、代码解释器）来辅助决策的过程。
在自由形式问答、数学程序合成和毒性降低等任务中，CRITIC 展现了显著的性能提升。例如，在数学评估数据集上，它经常能获得最高评分，因为它能利用代码解释器精确计算，而非依赖模型的直觉估算。
Reflexion 提出了一种新的框架，旨在帮助 Agent 从过去的失败中学习。传统的基于上下文的学习（In-context Learning）仅依赖短期记忆，而 Reflexion 引入了长期记忆机制。
Reflexion 框架主要包含三个组件：
这种机制类似于人类通过反复练习和反思来掌握技能。实验数据显示，Reflexion 在 AlfWorld 任务上提高了 22% 的决策能力，在 HotPotQA 推理问题上提高了 20%，在 HumanEval 编程任务上提高了 11%。特别是在 HumanEval (Python) 上，其得分达到 91.0，超过了 GPT-4 的 80.1。
| 方法 | 核心机制 | 适用场景 | 优势 |
|---|---|---|---|
| Self-Refine | 内部迭代反馈 | 文本生成、对话 | 无需外部工具，易于部署 |
| CRITIC | 外部工具交互 | 数学计算、事实核查 | 准确性高，可验证性强 |
| Reflexion | 长期记忆强化 | 复杂任务规划、Agent 决策 | 具备学习能力，越用越强 |
这三种方法共同揭示了自我反思在提升 LLM 智能中的关键作用。通过迭代反馈和自我修正，模型能够不断优化其输出，从而更好地处理复杂任务。在实际应用中，可以根据具体需求选择单一模式或组合使用这些策略，以构建更鲁棒的 AI Agent 系统。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online