构建通用 AI 智能体应用的核心技术指南

在某些情况下，你需要优化工具以获得所需的性能。这可能涉及使用一些快速工程调整工具名称或描述、设置高级配置以处理常见错误或过滤工具的输出。

第五步：制定可靠的记忆处理策略

LLM 受到其上下文窗口（即它们一次可以'记住'的 token 数量）的限制。这种记忆很快就会被诸如多轮对话中的过去互动、冗长的工具输出或代理所依据的额外上下文等内容填满。这就是为什么制定可靠的记忆处理策略至关重要。

在 Agent 的上下文中，记忆是指系统存储、调用和利用过去互动信息的能力。这使代理能够随着时间的推移保持上下文，根据以前的交流改进其响应，并提供更加个性化的体验。

常见的记忆处理策略：

• 滑动记忆：将最后 k 个对话回合保留在记忆中，并删除较旧的对话回合。
• Token 记忆：保留最后 n 个 token，忘记其余的 token。
• 总结记忆：使用 LLM 总结每个回合的对话并删除单个消息。

此外，你还可以让 LLM 检测关键时刻以存储在长期记忆中。这使 Agent 能够'记住'有关用户的重要事实，从而使体验更加个性化。

第六步：解析代理的原始输出

解析器是一种将原始数据转换为应用程序可以理解和使用的格式（如具有属性的对象）的函数。对于我们正在构建的 Agent，解析器需要识别我们在第二步中定义的通信结构并返回结构化输出，如 JSON。这使应用程序更容易处理和执行 Agent 的后续步骤。

注意：某些模型提供商（如 OpenAI）可以默认返回可解析的输出。对于其他模型，尤其是开源模型，则需要进行配置以确保输出符合预期的 Schema。

第七步：安排代理的下一步行动

最后一步是设置编排逻辑。这决定了 LLM 输出结果后会发生什么。根据输出，你可以：

• 执行工具调用；
• 返回答案 — 对用户查询的最终响应或对更多信息的后续请求。

如果触发了工具调用，则工具的输出将发送回 LLM（作为其工作内存的一部分）。然后，LLM 将确定如何处理这些新信息：执行另一个工具调用或向用户返回答案。这是一个典型的循环过程，直到满足终止条件。

编排逻辑伪代码示例

while not done:
    response = llm.generate(user_query + context)
    parsed_output = parser.parse(response)
    
    if parsed_output.action == "tool_call":
        tool_result = execute_tool(parsed_output.tool_name, parsed_output.args)
        context.append(tool_result)
    elif parsed_output.action == "answer":
        return parsed_output.answer
        done = True

多智能体系统从何而来

虽然这一代 LLM 非常强大，但它们有一个关键的限制：它们难以应对信息过载。过多的上下文或过多的工具会使模型不堪重负，从而导致性能问题。通用的单一 Agent 最终会达到这个上限，特别是因为 Agent 是出了名的 token 饥渴。

对于某些用例，多 Agent 设置可能更有意义。通过将职责划分给多个 Agent，你可以避免单个 LLM Agent 的上下文过载并提高整体效率。例如，一个 Agent 负责规划，另一个负责执行，第三个负责审查。

话虽如此，通用的单 Agent 设置是原型设计的绝佳起点。它可以帮助你快速测试用例并确定事情开始崩溃的地方。通过此过程，你可以：

• 了解任务的哪些部分真正受益于 Agent 方法。
• 确定可以在更大的工作流中作为独立流程分离的组件。
• 从单个 Agent 开始可以为你提供宝贵的见解，以便在扩展到更复杂的系统时改进你的方法。

框架推荐

准备好深入研究并开始构建了吗？使用框架是快速测试和迭代 Agent 配置的好方法：

• 计划使用 Llama 3 等开源模型？ 试试 Bee Agent Framework。
• 计划使用 OpenAI 等前沿模型？ 试试 LangGraph。

选择合适的框架可以大幅降低开发复杂度，让你专注于业务逻辑而非底层交互细节。随着技术的演进，Agent 的应用场景将更加广泛，掌握上述核心技术将是构建下一代智能应用的基础。