Agent Symbolic Learning：首个实现 AI 自主进化的端到端符号化训练框架

此外还有针对整个智能体工作流程的 PipelineOptimizer，即 agent workflow 的优化。具体来说就是通过将工作流程用特定的编程语言表示，智能体的计算图也变成了符号化的权重。然后，使用一个单独的优化器，根据当前智能体的工作流和节点的语言梯度来更新工作流程，这在神经网络训练中类似于自动网络结构搜索的研究。

测评表现

根据提供的文件内容，Agent Symbolic Learning 框架在大模型评测任务和智能体级别评测任务上的实验结果如下：

大模型评测任务（LLM Benchmarks）

• HotPotQA: 该任务是一个多跳问题回答任务，需要丰富的背景知识。Agent Symbolic Learning 框架在这个任务上的表现超过了所有比较的方法，包括 GPT-3.5、GPT-4、以及使用自动提示工程优化的智能体（Agents with AutoPE）和 DSPy 方法。
• MATH: 包含具有挑战性的数学竞赛问题。在这个任务上，Agent Symbolic Learning 框架的性能提升尤其显著，相比其他方法有大幅度的领先。
• HumanEval: 需要 LLM 或智能体从文档字符串合成程序。Agent Symbolic Learning 框架同样在这个任务上展现了优越的性能。

具体的性能提升表现在，Agent Symbolic Learning 框架在 HotPotQA 和 MATH 任务上的得分分别为 35/44.8 和 41/54.0，而在 HumanEval 任务上的得分为 85.8，均高于其他比较的基线方法。

智能体级别评测任务（Complex Agent Tasks）

• 创意写作任务（Creative Writing）: 智能体需要根据给定的四个随机句子写出一个连贯的四段文章，每段的结尾分别是这四个输入句子。Agent Symbolic Learning 框架在这项任务上的表现显著优于基线方法，包括 GPTs、Agents 以及使用自动提示工程优化的智能体（Agents with AutoPE），甚至超过了树状思维（Tree of Thoughts）方法。

• 软件开发任务（Software Development）: 智能体需要根据简单的产品需求文档（PRD）开发可执行的软件。Agent Symbolic Learning 框架在这项任务上同样展现了出色的性能，与基线方法相比，能够生成更高质量的软件。

在软件开发任务中，Agent Symbolic Learning 框架在多个游戏开发子任务上的平均得分为 3.8，远高于 GPTs 和 Agents 方法的平均得分 1.6 和 2.4。

应用场景

Agent Symbolic Learning 框架通过联合优化智能体系统中的所有符号组件，包括提示词、工具和智能体的工作流程，能够显著提升智能体在不同任务上的性能。实验结果表明，该框架不仅在传统的语言模型评测任务上表现出色，更能在复杂的智能体任务中实现有效的优化和自我进化，从而推动了从模型为中心到数据为中心的智能体研究的重要一步。

场景一：智能体的创建和调优

在第一种应用场景中，开发者和研究人员可以利用 Agent Symbolic Learning 框架进行智能体的创建和调优。这个过程类似于训练神经网络：首先，针对特定的任务收集大量的样本数据；然后，使用 Agent Symbolic Learning 框架在这些数据上训练和优化智能体。与传统的神经网络训练相似，这个过程需要大量的计算资源和数据。一旦训练完成，智能体就可以被部署到生产环境中，以静态的方式执行其任务。

场景二：支持自主进化的智能体

第二种应用场景则更加先进，它允许智能体在实际环境或交互中自主进化。Agent Symbolic Learning 框架的这一应用得益于其对大型语言模型的调用能力，它不需要复杂的基于 GPU 的训练和部署过程。这意味着，智能体可以将 Agent Symbolic Learning 框架作为一个工具，集成到自身的工作流程中。在与环境的探索或与人类的交互过程中，智能体可以不断收集新的训练样本，并主动调用 Agent Symbolic Learning 框架进行自我更新，优化其 prompts、tools 和 workflow。

技术挑战与未来展望

尽管 Agent Symbolic Learning 框架展示了巨大的潜力，但在实际落地过程中仍面临一些技术挑战。

1. 推理成本: 由于训练过程依赖于多次调用大语言模型来生成损失、梯度和优化指令，这可能导致较高的推理成本和延迟。未来的研究方向可能包括蒸馏技术，将部分符号优化逻辑压缩到更小的模型中。
2. 稳定性: 自然语言作为梯度的载体，其语义的模糊性可能导致优化过程中的不稳定性。如何定义更精确的自然语言损失函数和梯度度量标准是亟待解决的问题。
3. 安全性: 自主进化的智能体可能会产生不可预知的行为。建立安全护栏和监控机制，确保智能体在进化过程中始终遵循预设的安全约束至关重要。

为了进一步推动'数据为中心的智能体'（Data-centric Agent）和'智能体学习'（Agent Learning）的发展，相关研究团队选择将 Agent Symbolic Learning 框架的全部代码开源，鼓励更多的研究者和开发者参与到这一领域的探索中来。通过开源合作，期待与各界共同发掘更多创新的算法和应用，推动智能体技术的进步和普及。

代码仓库：https://github.com/aiwaves-cn/agents

论文地址：https://arxiv.org/pdf/2406.18532

总 Agent Symbolic Learning 框架的提出和开源，标志着智能体技术向自主学习和进化迈出了重要的一步。通过这种符号学习框架，智能体不仅能够从数据中学习，还能够在被创建和部署后自我进化，成为'自进化智能体'。这一框架不仅为智能体的创建和优化提供了新的方法，也为智能体在实际应用中的持续进化和自我完善提供了可能，预示着智能体技术未来的发展方向。