基于大型语言模型的智能 Agent：发展历程、架构与 Langchain 实现

然而，强化学习的问题包括：长时间的训练周期、采样效率低、在复杂的现实世界环境中模型不稳定。

基于 LLM 的 Agent

近年来，大型语言模型（LLM）非常火热，潜力巨大。因此，一个新的研究领域已经出现，使用 LLM 作为 Agent 的核心控制器，以让 Agent 拥有人类水平的决策能力。

这是文章的重点，接下来将详细说明。

基于 LLM 的 Agent 的架构

基于 LLM 的 Agent 的架构形式各异。然而，所有架构的核心模块都包括记忆、规划和行动。

四模块框架

提出了一个统一框架，如图 5 所示。这个框架包括一个分析 (Profile) 模块、一个记忆 (Memory) 模块、一个规划 (Planning) 模块和一个行动 (Action) 模块。

分析模块

Agent 在执行任务时通常会预定义一个身份，比如教师、某领域的专家等。分析模块的作用是定义这些 agent 所扮演的角色的详细档案，这些档案会被写入到提示中，用以影响大型语言模型（LLM）的行为。

Agent 档案一般包含基本信息（如年龄、性别、职业）、个性相关的心理学信息，以及描述 Agent 间社交关系的信息。选择哪些信息主要取决于应用的具体场景。

记忆模块

基于 LLM（大型语言模型）的 Agent 的记忆机制仿照了人类记忆。人类记忆可以分为短期记忆（短暂保持信息）和长期记忆（在较长时间内巩固信息）。

而在 LLM 中，短期记忆指 transformer 架构限制的上下文窗口内的输入信息。长期记忆类似于外部向量存储，Agent 可以根据需要快速查询和检索。

规划模块

面对复杂任务时，人类倾向于将其分解为更简单的子任务并分别解决它们。规划模块的目标是赋予 Agent 这种人类能力，使 Agent 的行为更加强大。思维链就是一种常见的规划策略。

行动模块

行动模块将 Agent 的决策转化为具体的输出。这个模块直接与环境互动。它受到分析、记忆和规划模块的影响。行动模块可以分为 4 部分：

• 行动目标涉及 Agent 执行特定行动所达成的具体目标。
• 行动产生描述了行动是如何从 Agent 的决策过程中产生出来的，包括决策逻辑、策略选择等。
• 行动空间定义了在特定环境中 Agent 可以采取的所有可能行动的集合。
• 行动影响考虑了行动执行后对环境、Agent 自身状态或整个任务进展产生的后果。

三模块框架

此外也有一些其他的框架，提出了一个基于 LLM 的 Agent 的一般概念框架，由三个关键部分组成：大脑（brain）、感知（perception）和行动（action） ，如图 6 所示。

大脑模块作为控制器，处理基本任务，如记忆、思考和决策。感知模块解释和处理来自外部环境的多模态信息，而行动模块则执行响应并使用工具与环境互动。

举个例子来说明工作流程：假设有人问今天是否会下雨。感知模块将这个查询转换成 LLM 可以理解的格式。然后，大脑模块根据当前的天气情况和在线天气报告进行推断。最后，行动模块作出响应并给这个人递一把伞。通过这一过程，Agent 能够持续接收反馈并与环境互动。

基于 LLM 的 Agent 的应用

根据领域的不同，基于 LLM 的 Agent 的应用可以分为三类：社会科学、自然科学和工程，如图 7 所示。

根据应用场景的不同，基于 LLM 的 Agent 的应用又可以分为：单一 Agent、多重 Agent 和人机交互 Agent，如图 8 所示。

单一 Agent 具有多样化的能力。当多个 Agent 互动时，它们可以通过合作或对抗性互动加强性能。人与 Agent 的互动中，人类的反馈可以使 Agent 更有效地执行任务。

动手实现基于 LLM 的 Agent

接下来我们将用 Langchain 和 python 实现一个 Agent 的 demo，demo 的整体架构图如下：

环境配置

这里我用了 anaconda 来配置环境，命令如下：

conda create -n agent python=3.11
conda activate agent
pip install langchain
pip install langchain_openai
pip install duckduckgo-search

最终所用库的版本如下：

langchain 0.1.15
langchain-community 0.0.32
langchain-core 0.1.41
langchain-openai 0.1.2
langchain-text-splitters 0.0.1
duckduckgo_search 5.3.0

首先导入库

import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

from langchain.agents import AgentExecutor, Tool, ZeroShotAgent
from langchain.chains import LLMChain
from langchain.memory import ConversationBufferMemory
from langchain_openai import OpenAI
from langchain_community.utilities import DuckDuckGoSearchAPIWrapper

为 Agent 引入搜索能力

这里，我使用 DuckDuckGo 库作为 Agent 可以使用的工具，从而为 Agent 赋予搜索能力。

tools 定义了一个工具列表，其中包含一个名为"Search"的工具，该工具使用 search.run 函数。

search = DuckDuckGoSearchAPIWrapper()
tools = [
    Tool(
        name="Search",
        func=search.run,
        description="useful for when you need to answer questions about current events",
    )
]

计划模块和行动模块

如前所述，计划模块和行动模块是一个 Agent 的核心，这里我使用算法，构建计划模块和行动模块。该算法如下图所示：

ReAct 算法解析

以做一道菜为例，切好菜和打开煤气之间，有一个这样的推理，或者说内心独白："现在我切好菜了，后面要煮菜了，我需要打开煤气。"在做菜过程中，如果发生意外，发现没有盐时，有这样一个推理："没有盐了，今天我就用胡椒粉调味"，然后我们就会去拿胡椒粉。

通过这个洞察，作者提出一个方法：

让 LLM 把内心独白说出来，然后再根据独白做相应的动作，来提高 LLM 答案的准确性。

以下面这个问题为例：

除了 Apple 遥控器，还有什么其他设备可以控制相关软件？相关软件指的是，Apple 遥控器最早可以控制的软件。

说明：

1. Apple 遥控器最早只能控制 Front Row 软件。
2. Front Row 软件可以被两种设备控制，Apple 遥控器和键盘的功能键。
3. 所以，正确答案是键盘的功能键。

ReAct 方法，即推理 + 动作。得到结果：

想法 1：我需要搜索 Apple 遥控器，并找到 Apple 遥控器最早可以控制的软件。 动作 1：搜索【Apple 遥控器】 结果 1：Apple 遥控器是一种遥控器……最早可以控制'Front Row'……

想法 2：Apple 遥控器最早可以控制 Front Row。我需要搜索 Front Row 下一步，找出还有什么其他设备可以控制他 动作 2：搜索【Front Row】 结果 2：无结果，可以试试'Front Row Seat to Earth'和'Front Row 软件'

想法 3：Front Row 没有找到，我可以搜索'Front Row 软件' 动作 3：搜索【Front Row 软件】 结果 3：FrontRow 是一种过时软件……可以被 Apple 遥控器和键盘功能键控制。

想法 4：现在我知道答案了。 动作 4：完成【键盘功能键】

答案正确。通过显式推理，加上动作，LLM Agent 自主找到了答案。整个过程感觉就像是个不是特别聪明的孩子，要把想法写出来，然后去综合所有想法和观察，接着再做出相应的动作。但显然这个方法很有效，它最终找到了答案。

代码实现

prefix = """Have a conversation with a human, answering the following questions as best you can. You have access to the following tools:"""  
suffix = """Begin!  

{chat_history}  
Question: {input}  
{agent_scratchpad}"""  
# 使用 `ZeroShotAgent.create_prompt` 方法创建一个提示，该提示将用于与 LLM 交互。
prompt = ZeroShotAgent.create_prompt(  
    tools,  
    prefix=prefix,  
    suffix=suffix,  
    input_variables=["input", "chat_history", "agent_scratchpad"],  
)

这里定义了对话的前缀和后缀，以及对话历史、用户输入和 Agent 的思考过程的占位符。使用 ZeroShotAgent.create_prompt 方法创建一个 prompt。

这里可能有读者疑惑，ReAct 算法在哪使用呢————在 prompt 里！

这里展示下内容：

Have a conversation with a human, answering the following questions as best you can.
You have access to the following tools:
 
Search: useful for when you need to answer questions about current events
Use the following format:
Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [Search]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question
Begin!"

{chat_history}
Question: {input}
{agent_scratchpad}

prompt 将使用一个定义好的 [search] 工具，并且 prompt 末尾有三个变量：

1. chat_history：包含存储在记忆中的内容。这包括之前的对话、Agent 的内部状态、或者是先前任务的上下文信息。
2. input：指用户输入的问题。这是 Agent 需要处理和响应的主要输入。
3. agent_scratchpad：代表 Agent 之前的思考过程，包括思考、行动、行动输入、观察等。这个变量会在 Agent 的执行过程中不断更新，记录 Agent 的推理过程和决策依据。

记忆模块

langchain 已经提供了默认的记忆模块的函数：

memory = ConversationBufferMemory(memory_key="chat_history")

创建一个 ConversationBufferMemory 实例，用于存储对话历史。

创建 Agent

#创建一个 `LLMChain` 实例，它将使用 OpenAI 模型和之前创建的提示。
llm_chain = LLMChain(llm=OpenAI(temperature=0), prompt=prompt)  
#创建一个 `ZeroShotAgent` 实例，它将使用 LLM 链和工具列表。
agent = ZeroShotAgent(llm_chain=llm_chain, tools=tools, verbose=True)  
#创建一个 `AgentExecutor` 实例，它将用于运行 agent。
agent_executor = AgentExecutor.from_agent_and_tools(  
    agent=agent, tools=tools, verbose=True, memory=memory  
)

测试用例

agent_executor.run(input="How many people live in canada?") 
agent_executor.run(input="what is their national anthem called?") 
agent_executor.run(input="what is their capital?")

这里连续运行了三次 agent 执行器，每次处理一个不同的输入。第二次和第三次测试了 agent 的记忆功能，即 agent 能否利用之前交互中的信息来回答后续问题。

最终的全部代码

import os
os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

from langchain.agents import AgentExecutor, Tool, ZeroShotAgent
from langchain.chains import LLMChain
from langchain.memory import ConversationBufferMemory
from langchain_openai import OpenAI
from langchain_community.utilities import DuckDuckGoSearchAPIWrapper

search = DuckDuckGoSearchAPIWrapper()
tools = [
    Tool(
        name="Search",
        func=search.run,
        description="useful for when you need to answer questions about current events",
    )
]

prefix = """Have a conversation with a human, answering the following questions as best you can. You have access to the following tools:"""  
suffix = """Begin!  

{chat_history}  
Question: {input}  
{agent_scratchpad}"""  

prompt = ZeroShotAgent.create_prompt(  
    tools,  
    prefix=prefix,  
    suffix=suffix,  
    input_variables=["input", "chat_history", "agent_scratchpad"],  
)

memory = ConversationBufferMemory(memory_key="chat_history")  

llm_chain = LLMChain(llm=OpenAI(temperature=0), prompt=prompt)  

agent = ZeroShotAgent(llm_chain=llm_chain, tools=tools, verbose=True)  

agent_executor = AgentExecutor.from_agent_and_tools(  
    agent=agent, tools=tools, verbose=True, memory=memory  
)

agent_executor.run(input="How many people live in canada?")  
# To test the memory of this agent, we can ask a followup question that relies on information in the previous exchange to be answered correctly.
agent_executor.run(input="what is their national anthem called?")  
agent_executor.run(input="what is their capital?")

测试结果

这里我用了个 gpt-3.5 的 api，输出如下：

> Entering new AgentExecutor chain...
Thought: I should use the Search tool to find the most recent population data for Canada.
Action: Search
Action Input: "Population of Canada"
Observation: Canada population density map (2014) Top left: The Quebec City-Windsor Corridor is the most densely inhabited and heavily industrialized region accounting for nearly 50 percent of the total population Canada ranks 37th by population among countries of the world, comprising about 0.5% of the world's total, with 40 million Canadians. Despite being the second-largest country by total area ... As of July 1, 2023, NPRs were estimated to represent 5.5% of the population of Canada. Among provinces, this proportion was highest in British Columbia (7.3%) and Ontario (6.3%) and lowest in Newfoundland and Labrador (2.4%) and Saskatchewan (2.5%). The 2.2 million NPRs now outnumber the 1.8 million Indigenous people enumerated during the 2021 ... Historical population of Canada. Statistics Canada conducts a country-wide census that collects demographic data every five years on the first and sixth year of each decade. The 2021 Canadian census enumerated a total population of 36,991,981, an increase of around 5.2 percent over the 2016 figure. It is estimated that Canada's population surpassed 40 million in 2023 and 41 million in 2024. Canada's population reaches 40 million. On June 16, 2023, Statistics Canada announced that Canada's population passed the 40 million mark according to the Canada's population clock (real-time model). Today's release of total demographic estimates and related data tables for a reference date of July 1, 2023, is the first since reaching that ... Canada's population was estimated at 40,528,396 on October 1, 2023, an increase of 430,635 people (+1.1%) from July 1. This was the highest population growth rate in any quarter since the second quarter of 1957 (+1.2%), when Canada's population grew by 198,000 people. At the time, Canada's population was 16.7 million people, and this rapid population growth resulted from the high number of ...
Thought: Based on the data, I can see that the population of Canada is estimated to be around 40 million as of October 1, 2023.
Final Answer: The estimated population of Canada as of October 1, 2023 is 40 million.

> Finished chain.


> Entering new AgentExecutor chain...
Thought: I should use the search tool to find the answer.
Action: Search
Action Input: "Canada national anthem"
Observation: O Canada, national anthem of Canada.It was proclaimed the official national anthem on July 1, 1980. "God Save the Queen" remains the royal anthem of Canada. The music, written by Calixa Lavallée (1842-91), a concert pianist and native of Verchères, Quebec, was commissioned in 1880 on the occasion of a visit to Quebec by John Douglas Sutherland Campbell, marquess of Lorne (later 9th ... Learn about the history and lyrics of Canada's national anthem 'O Canada', which has both French and English versions. The song was composed by Calixa Lavallée in 1880 and was proclaimed the official anthem in 1980. It replaced 'God Save the Queen', which is Canada's royal anthem. O Canada (French: Ô Canada) is the national anthem of Canada. The song was originally commissioned by Lieutenant Governor of Quebec Théodore Robitaille for t... National Anthem of Canada - O Canada (English only) - featuring new lyricsOther versions:Bilingual: https://www.youtube.com/watch?v=wBCuyeoSURoFrench only: h... Enjoy this virtual choir rendition of 'O Canada' arranged by George Alfred Grant-Shaefer . Make sure to subscribe for more virtual choir videos!After 100 yea...
Thought: I now know the final answer.
Final Answer: The national anthem of Canada is "O Canada".

> Finished chain.


> Entering new AgentExecutor chain...
Thought: I should use the Search tool to find the answer.
Action: Search
Action Input: "Capital of Canada"
Observation: Ottawa is the capital city of Canada.It is located in the southern portion of the province of Ontario, at the confluence of the Ottawa River and the Rideau River.Ottawa borders Gatineau, Quebec, and forms the core of the Ottawa-Gatineau census metropolitan area (CMA) and the National Capital Region (NCR). As of 2021, Ottawa had a city population of 1,017,449 and a metropolitan population of ... Ottawa, city, capital of Canada, located in southeastern Ontario.In the eastern extreme of the province, Ottawa is situated on the south bank of the Ottawa River across from Gatineau, Quebec, at the confluence of the Ottawa (Outaouais), Gatineau, and Rideau rivers.The Ottawa River (some 790 miles [1,270 km] long), the principal tributary of the St. Lawrence River, was a key factor in the city ... Skyline of Toronto. The national capital is Ottawa, Canada's fourth largest city. It lies some 250 miles (400 km) northeast of Toronto and 125 miles (200 km) west of Montreal, respectively Canada's first and second cities in terms of population and economic, cultural, and educational importance. The third largest city is Vancouver, a centre ... Learn about Canada's location, climate, terrain, natural resources, and major lakes and rivers. Find out the population distribution, ethnic groups, languages, and religions of Canada. The national capital, Ottawa, is prominently marked in the province of Ontario. Where is Canada? Canada is the largest country in North America. Canada is bordered by non-contiguous US state of Alaska in the northwest and by 12 other US states in the south. The border of Canada with the US is the longest bi-national land border in the world.
Thought: I now know the final answer.
Final Answer: The capital of Canada is Ottawa.

> Finished chain.

Agent 面临的挑战与展望

尽管基于 LLM 的 Agent 展现了强大的能力，但在实际落地中仍面临诸多挑战：

1. 幻觉问题：LLM 可能会生成看似合理但事实错误的信息，特别是在调用工具获取外部信息时，若工具返回结果模糊，Agent 容易产生幻觉。
2. 延迟与成本：复杂的规划步骤意味着多次 API 调用，导致响应时间变长，Token 消耗增加，这在实时性要求高的场景中是瓶颈。
3. 安全性：Agent 拥有执行工具的能力，若 Prompt 被恶意注入，可能导致不可控的操作，如删除文件或访问敏感数据。
4. 稳定性：多步推理链条中，任何一步的错误都会导致最终结果失败，缺乏容错机制。

未来，随着模型能力的提升和评估体系的完善，Agent 将在自动化运维、个性化助手、科研辅助等领域发挥更大作用。开发者应关注如何优化规划算法、增强记忆检索精度以及建立安全护栏，以确保 Agent 系统的可靠性和可用性。