大模型智能体（Agent）核心机制与开发指南

对 CoT 的进一步扩展，在思维链的每一步，推理出多个分支，拓扑展开成一棵思维树。使用启发式方法评估每个推理分支对问题解决的贡献。选择搜索算法，使用广度优先搜索（BFS）或深度优先搜索（DFS）等算法来探索思维树，并进行前瞻和回溯。

反思和完善

智能体在执行任务过程中，通过 LLM 对完成的子任务进行反思，从错误中吸取教训，并完善未来的步骤，提高任务完成的质量。同时反思任务是否已经完成，并终止任务。

ReAct

ReAct（Reasoning and Acting），《ReAct: Synergizing Reasoning and Acting in Language Models》这篇论文提出一种用于增强大型语言模型的方法，它通过结合推理（Reasoning）和行动（Acting）来增强推理和决策的效果。

• 推理（Reasoning）：LLM 基于「已有的知识」或「行动（Acting）后获取的知识」，推导出结论的过程。
• 行动（Acting）：LLM 根据实际情况，使用工具获取知识，或完成子任务得到阶段性的信息。

为什么结合推理和行动，就会有效增强 LLM 完成任务的能力？这个问题其实很好回答，我们用上面的「调研员智能体」举例，我提出了问题：「特斯拉 FSD 对比华为 ADS」，下面列出几种不同规划模式的推演：

1. 仅推理（Reasoning Only）：LLM 仅仅基于已有的知识进行推理，生成答案回答这个问题。很显然，如果 LLM 本身不具备这些知识，可能会出现幻觉，胡乱回答一通。
2. 仅行动（Acting Only）：大模型不加以推理，仅使用工具（比如搜索引擎）搜索这个问题，得出来的将会是海量的资料，不能直接回到这个问题。
3. 推理 + 行动（Reasoning and Acting）：LLM 首先会基于已有的知识，并审视拥有的工具。当发现已有的知识不足以回答这个问题，则会调用工具，比如：搜索工具、生成报告等，然后得到新的信息，基于新的信息重复进行推理和行动，直到完成这个任务。其推理和行动的步骤会是如下这样：

推理 1：当前知识不足以回答这个问题，要回答该问题，需要知道什么是「特斯拉 FSD」和「华为 ADS」   
行动 1：使用搜索工具搜索「特斯拉 FSD」和「华为 ADS」的资料   
观察 1：总结行动 1 的内容      
推理 2：基于行动 1 和观察 1 的信息，得知这是关于两个自动驾驶提供商的方案对比，基于已有的信息，现在需要生成报告   
行动 2：使用生成报告的工具，生成调研报告   
观察 2：任务完成   

通过巧妙的 prompt 提示设计，使得 LLM 重复地执行推理和行动，最终完成任务。ReAct 的 prompt 模版的大致思路为:

Thought（思考）: ...
Action（行动）: ...
Observation（观察）: ...
...
Thought（思考）: ...
Action（行动）: ...
Observation（观察）: ...
...(Repeated many times（重复多次）)

记忆（Memory）

记忆是什么？当我们在思考这个问题，其实人类的大脑已经在使用记忆。记忆是大脑存储、保留和回忆信息的能力。记忆可以分为不同的类型：

• 短期记忆（或工作记忆）：这是一种持续时间较短的记忆，能够暂时存储和处理有限数量的信息。例如，记住一个电话号码直到拨打完毕。
• 长期记忆：这是一种持续时间较长的记忆，可以存储大量信息，从几分钟到一生。长期记忆可以进一步分为显性记忆和隐性记忆。显性记忆，可以有意识地回忆和表达的信息，显性记忆又可以分为情景记忆（个人经历的具体事件）和语义记忆（一般知识和概念）。隐性记忆，这种记忆通常是无意识的，涉及技能和习惯，如骑自行车或打字。

仿照人类的记忆机制，智能体实现了两种记忆机制:

• 短期记忆：在当前任务执行过程中所产生的信息，比如某个工具或某个子任务执行的结果，会写入短期记忆中。记忆在当前任务过程中产生和暂存，在任务完结后被清空。
• 长期记忆：长期记忆是长时间保留的信息。一般是指外部知识库，通常用向量数据库来存储和检索。

工具使用（Tool use）

LLM 是数字世界中的程序，想要与现实世界互动、获取未知的知识，或是计算某个复杂的公式等，都离不开工具。所以我们需要为智能体配备各种工具以及赋予它使用工具的能力。

工具是什么？它可以是锤子、螺丝刀，也可以是函数（function）、软件开发工具包（sdk）。工具是人类智慧的具象化，扩展我们的能力，提升工作效率。在智能体中，工具就是函数（Function），工具使用就是调用函数（Call Function）。

在 LLM 中实现函数调用，使用到 LLM 的这个能力:

Function Calling 是一种实现大型语言模型连接外部工具的机制。通过 API 调用 LLM 时，调用方可以描述函数，包括函数的功能描述、请求参数说明、响应参数说明，让 LLM 根据用户的输入，合适地选择调用哪个函数，同时理解用户的自然语言，并转换为调用函数的请求参数（通过 JSON 格式返回）。调用方使用 LLM 返回的函数名称和参数，调用函数并得到响应。最后，如果需要，把函数的响应传给 LLM，让 LLM 组织成自然语言回复用户。

function calling 具体工作流程如下图所示：

不同 LLM 的 API 接口协议会有所不同，下文将以OpenAI 的 API 协议为例，说明如何实现 Function Calling。

函数描述

我们可以按照智能体的需要来实现函数，比如前文的「调研员」智能体，为其实现了这些函数：WebBrowseAndSummarize：浏览网页并总结网页内容；ConductResearch：生成调研报告等。如果是一个智能家居的智能体，可能会需要这些函数：开关灯、开空调、获取环境信息等。函数的实现在这里不展开赘述，一个函数可以自行编码实现，也可以通过调用外部 API 实现。

假设你的函数已经被实现，我们需要向 LLM 描述这个函数，函数描述的必备要素：

• 函数名
• 函数的功能描述
• 函数的请求参数说明
• 函数的响应参数说明（可选）

「查询最近天气」的函数描述：

{
  "type": "function",
  "function": {
    "name": "get_n_day_weather_forecast",
    "description": "获取最近 n 天的天气预报",
    "parameters": {
      "type": "object",
      "properties": {
        "location": {
          "type": "string",
          "description": "城市或镇区 如：深圳市南山区"
        },
        "format": {
          "type": "string",
          "enum": ["celsius", "fahrenheit"],
          "description": "要使用的温度单位，摄氏度 or 华氏度"
        },
        "num_days": {
          "type": "integer",
          "description": "预测天数"
        }
      },
      "required": ["location", "format", "num_days"]
    }
  }
}

调用 LLM 获得函数的请求参数

Function Calling 是通过请求 LLM 的 chat API 实现的，在支持 Function Calling 模型的 chat API 参数中，会有一个 functions 参数 (或 tools，不同 LLM 的参数会有所不同) ，通过传入这个参数，大模型则会知道拥有哪些参数可供使用。并且会根据用户的输入，推理出应该调用哪些函数，并将自然语言转成函数的请求参数，返回给请求方。下面以 OpenAI 的 SDK 举例：

from openai import OpenClient

def chat_completion_request(messages, tools=None, tool_choice=None, model="gpt-3.5-turbo"):
    try:
        response = client.chat.completions.create(
            model=model,
            messages=messages,
            tools=tools,
            tool_choice=tool_choice,
        )
        return response
    except Exception as e:
        print("Unable to generate ChatCompletion response")
        print(f"Exception: {e}")
        return e

if __name__ == "__main__":
    messages = []
    messages.append({"role": "system", "content": "不要假设将哪些值输入到函数中。如果用户请求不明确，请要求澄清"})
    messages.append({"role": "user", "content": "未来 5 天深圳南山区的天气怎么样"})
    chat_response = chat_completion_request(messages, tools=tools)
    tool_calls = chat_response.choices[0].message.tool_calls
    print("===回复===")
    print(tool_calls)

LLM 将会返回 get_n_day_weather_forecast 函数的调用参数:

===回复===
[ChatCompletionMessageToolCall(id='call_7qGdyUEWp34ihubinIUCTXyH', function=Function(arguments='{"location":"深圳市南山区","format":"celsius","num_days":5}', name='get_n_day_weather_forecast'), type='function')]

// 格式化看看：chat_response.choices[0].message.tool_calls:
[
  {
    "id": "call_7qGdyUEWp34ihubinIUCTXyH",
    "function": {
      "arguments": {
        "location": "深圳市南山区",
        "format": "celsius",
        "num_days": 5
      },
      "name": "get_n_day_weather_forecast"
    },
    "type": "function"
  }
]

调用函数

调用方获得 LLM 返回的函数调用信息（函数名称和调用参数）后，自行调用函数，并得到函数执行的响应。如果有需要，还可以把函数执行的响应追加到 chat API 的对话中传给 LLM，让 LLM 组织成自然语言回复用户。

# 执行函数
for tool_call in tool_calls:
    function = tool_call.function.name
    arguments_list = json.loads(tool_call.function.arguments)
    function_to_call = globals().get(function)
    result = function_to_call(**arguments_list)
    print("===" + function + "===")
    print(result)

    # 把函数调用结果加入到对话历史中
    messages.append(
        {
            "tool_call_id": tool_call.id,  # 用于标识函数调用的 ID
            "role": "user",
            "name": function,
            "content": "函数执行结果为:" + str(result)
        }
    )

# 函数执行结果传给 LLM，组织成自然语言回复用户
chat_response = chat_completion_request(messages, tools=tools)
print("===回复===")
print(chat_response.choices[0].message.content)

执行结果:

===get_n_day_weather_forecast===
[{'date': '2023-04-01', 'location': '深圳市南山区', 'temperature': '20°C', 'description': '晴朗'}, {'date': '2023-04-02', 'location': '深圳市南山区', 'temperature': '21°C', 'description': '多云'}, {'date': '2023-04-03', 'location': '深圳市南山区', 'temperature': '22°C', 'description': '晴朗'}, {'date': '2023-04-04', 'location': '深圳市南山区', 'temperature': '23°C', 'description': '多云'}, {'date': '2023-04-05', 'location': '深圳市南山区', 'temperature': '24°C', 'description': '晴朗'}]
===回复===
未来 5 天深圳南山区的天气情况如下：
- 4 月 1 日：晴朗，温度 20°C
- 4 月 2 日：多云，温度 21°C
- 4 月 3 日：晴朗，温度 22°C
- 4 月 4 日：多云，温度 23°C
- 4 月 5 日：晴朗，温度 24°C

请注意天气预报仅供参考，实际情况可能会有所变化。

智能体的开发框架

现在如果你想要开发一个 AI 智能体，已经比大模型爆发的初期方便太多了，随着 AI 应用需求的持续火热，智能体框架层出不穷。智能体开发框架，会抽象和封装那些被高频使用的模块，如记忆能力、规划能力、RAG 能力、大模型调用等。使用智能体框架，可帮助你快速搭建智能体。

无论是开源的还是闭源的，智能体应用框架在各个领域，比如自定义智能体、编码、研究、数据分析、多智能体等等，都有比较有代表性的产品可供选择。

上文曾使用到 MetaGPT，MetaGPT 是一个多智能体框架，多智能体框架可以帮你开发一个由多个不同职责的智能体组合起来的多智能体。举个例子，如果我们想开发一个多智能体软件团队，该软件团队可以根据用户需求交付代码，其内部会通过测试代码、评审代码来提升代码质量。该多智能体将包含：开发（coder）、测试（tester）、评审人（reviewer）这三个不同职责的智能体，他们各司其职，互相协作完成任务。

展望

随着大模型的百花齐放，LLM 会支持更长的上下文、更大的参数规模，其推理能力也会愈发强大。因此，基于大模型搭建的智能体（AI Agent）的能力边界也在不断突破。通过智能体技术，我们可以创建各种各样的 AI 应用，比如：Copilot、DB-GPT 等等，一些 AI 应用已经成为工作生活中不可缺少的存在。相信 AI 应用的将会快速全面地重构我们曾经习以为常的软件形态和交互方式，以及提升人类的生产效率。

智能体的发展仍处于早期阶段，未来在安全性、可靠性以及多模态交互方面仍有巨大的探索空间。开发者应关注基础模型的演进，同时注重构建稳健的工具生态和用户隐私保护机制，以确保智能体在实际场景中的落地价值。