针对大语言模型驱动的多智能体系统（LLM-MA）中通信开销过大的问题，提出了一种名为 AgentPrune 的通信优化框架。该框架将多智能体系统定义为时空图，识别并剪枝冗余的通信边，旨在降低 Token 消耗的同时保持性能。实验表明，AgentPrune 能无缝集成到现有系统中，显著减少 Token 使用量，并在对抗攻击下表现出更好的鲁棒性。文章还探讨了剪枝策略的泛化性与未来优化方向，包括自适应调整剪枝轮次及结合缓存共享技术。
近期，大语言模型（LLM）驱动的智能体（Multi-Agent, MA）取得了显著进展。集体智能表现出超越单个智能体能力的优势，这主要归功于精心设计的智能体间通信拓扑结构。然而，现有的多智能体系统在性能上的提升往往是以大量的 Token 开销和经济成本为代价的，这使得大规模部署面临严峻挑战。为应对这一问题，本文介绍了一种经济、简洁且强大的多智能体通信优化框架——AgentPrune。它能够无缝集成到主流多智能体系统中，通过剪枝冗余的通信信息，使得 MA 中的 Agent 能够'少说废话'，从而在保持性能的同时大幅降低成本。
在大模型多智能体系统（LLM-MA）中，通信机制主要分为两种类型，它们决定了信息流动的方式和效率：
尽管 Multi-agent 系统在任务 Performance 上有所提升，但这种提升是建立在大量 Token 消耗的基础之上的。目前依赖大量 Token 消耗的 Multi-agent 系统在部署上存在明显限制，尤其是对于边缘智能设备而言，无法支持如此高昂的 Token 消耗。因此，如何在保证效果的前提下减少通信开销，成为该领域亟待解决的核心问题。
作者首先将 LLM-MA 定义为一种时空图结构，主要从两个维度进行建模：
通过实验观察发现，即使随机裁剪掉 20-30% 的通信边（使用 4 个 GPT-3.5 作为 Agents），系统的性能反而会有所提升。这表明现有的全连接或全历史接收机制中存在大量的冗余信息。
因此，研究将**Communication Redundancy（通信冗余）**定义为 LLM-MA 图中不必要的边。去除这些边后，只要性能变化小于一个可接受的阈值，即可视为有效剪枝。
Intra-dialogue communication 通常使用全连接图，导致每个 Agent 都处理所有同伴的消息。
Inter-dialogue communication 中每个 Agent 接收上一轮的所有回复，导致历史消息堆积。
AgentPrune 的目标是找到一个表现良好的子图，该子图需满足以下特性：近似分布一致、低秩稀疏性。
其执行过程分为两个阶段：
在邻接矩阵中，该方法保留 TopK 通信边。与原有的有向无环图相比，这种方法实现了信息的进一步高质量压缩，减少了无效的数据传输。
实验使用了 5 个 GPT-4 作为 Agent，与之前的 Baseline 进行了对比。结果显示，AgentPrune 在较低的成本下，能够与现有最先进的拓扑达到相当的效果，甚至在某些指标上略有超越。
Token 花费是衡量 LLM 应用成本的关键指标。AgentPrune 显著降低了 Token 消耗，并且与其他已有的 MA 系统结合时，能进一步降低 token 数。实验数据表明，在现有多智能体框架中无缝集成，可实现 28.1% ~ 72.8% 的 Token 减少。
除了效率和性能，系统的鲁棒性同样重要。通过在六个基准测试上的实验，证明了 AgentPrune 成功防御了两种类型的智能体对抗攻击，并带来了 3.5% ~ 10.8% 的性能提升。这说明剪枝掉冗余信息不仅没有削弱系统能力，反而可能去除了干扰噪声，增强了模型的稳定性。
作为第一个提出对 Agent 通信拓扑剪枝以提高性能、效率和鲁棒性的 MA 系统，AgentPrune 的重点在于定义 MA 系统通信机制中的冗余，并观察到冗余现象的存在。消除冗余的方法简单且易于理解，同时也给后续工作提供了启发和优化空间。
关于'一次性剪枝'操作以及剪枝标准，仍有继续优化的空间以增强泛化性。例如，在 GSM8K、MMLU 等场景下，'一次性剪枝'需要进行的训练轮次分别为 8 轮和 47 轮，分别占总测试数据的 7% 和 18%。如果可以自适应地调整'一次性剪枝'的轮次，可能会减少很多前期的参数调整工作量。此外，针对不同 Agent 数量组成的 MA 系统，也需要自适应的调整策略，期待后续工作可以进一步优化这一部分。
在剪枝操作之外，还可以参考之前针对自一致性（Self-Consistency, SC）的减少 Token 花费的相关策略，以及与 Cache Share 等工作的进一步结合。这将有助于优化需要很多轮次的更复杂场景中的推理策略，进一步提升系统的整体运行效率。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
