利用 AutoGen 框架构建 LLM 多智能体系统，以实现自动收集 arXiv 论文并生成分析报告的实践。文章对比了基于 GroupChat 的动态对话流程与基于 ReAct 范式的函数调用流程，指出后者在稳定性和可控性上更具优势。通过自定义 arXiv 检索函数并结合 ReAct Prompt 模板，实现了从论文搜索到报告撰写的自动化闭环。总结部分强调了专人专事的 Agent 设计原则及实际部署中的稳定性、上下文管理和错误处理建议，旨在帮助开发者构建高效的 AI 科研辅助工具。
最近需要优化人脸姿态评估模型，往常我需要调研当前业界最新论文，在 arxiv 上查阅论文，然后到相关算法 benchmark 上查看排名，最后选定论文和模型。今天看到使用 AutoGen 自动获取数据并撰写分析报告的实验，于是突发奇想，我为什么不用 AutoGen 写一个根据我的需求自动调研最近 4 年人脸姿态评估论文并撰写一个报告给我呢？这样至少能节省不少时间，而且最终会输出一份中文报告。
要实现这样的任务，需要自动编码获取论文和摘要，然后根据获取到的论文摘要进行报告撰写。大致流程如下：
熟悉如何编写 llm_config 和实例化 ConversableAgent 的同学可以跳过此部分。其中 system prompt 较长有所删减。
user_proxy = autogen.ConversableAgent(
name="Admin",
system_message="Give the task, and send instructions to writer to refine the blog post.",
code_execution_config=False,
llm_config=llm_config,
human_input_mode="ALWAYS",
)
planner = autogen.ConversableAgent(
name="Planner",
system_message="Given a task, please determine ...",
description="Given...",
llm_config=llm_config,
)
engineer = autogen.AssistantAgent(
name="Engineer",
llm_config=llm_config,
description="Write code based on the plan provided by the planner.",
)
writer = autogen.ConversableAgent(
name="Writer",
llm_config=llm_config,
system_message="Writer. Please write blogs in markdown format (with relevant titles)",
description="After all ...",
)
executor = autogen.ConversableAgent(
name="Executor",
description="Execute the code written by the engineer and report the result.",
human_input_mode="NEVER",
code_execution_config={
"last_n_messages": 3,
"work_dir": "coding",
"use_docker": False,
},
)
我们采用 GroupChat 来管理对话。AutoGen 支持自定义对话目标 Agent，方法是通过设定 GroupChat 的参数。重点参数说明如下：
agents: List[Agent] 一组对话的 Agentmax_round: 最大允许对话的次数speaker_selection_method: 默认是 auto 模式，由 LLM 自动根据 Agent 的描述选择allowed_or_disallowed_speaker_transitions: Dict，话筒传递设定，key 为 source agent，value 是 List[Agent]，可传递或者禁止传递话筒的目标 Agent 列表speaker_transitions_type: 设定上面话筒传递列表是允许传递还是禁止方向，allowed 或者 disallowed按照设计的对话顺序，实例化 GroupChat 如下：
groupchat = autogen.GroupChat(
agents=[user_proxy, engineer, writer, executor, planner],
messages=[],
max_round=10,
allowed_or_disallowed_speaker_transitions={
user_proxy: [writer, planner],
engineer: [executor],
writer: [user_proxy],
executor: [engineer],
planner: [engineer],
},
speaker_transitions_type="allowed",
)
群组组建好后，需要实例化群管理员 GroupChatManager。它继承自 ConversableAgent，包含 groupchat 和 name 等参数。
manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=llm_config)
task = "使用 arxiv 获取 2020-2024 年期间所有人脸姿态识别的论文并写一篇报告"
groupchat_result = user_proxy.initiate_chat(manager, message=task)
由于自动编码调试，无法输出稳定的结果。虽然它可以在 Engineer 和 Executor 之间不断调试代码，但是流程仍然是难以控制，无法稳定到输出结果给到 Writer 进行撰写报告。调试后发现，使用 LLM 自动选择 Agent 来发言是一个不太成熟的方法，对于 LLM 本身要求较高，直接设定流程会比较稳定一些。
在整个环节中，因为自动编码无法稳定输出获取的论文，可以考虑尝试自己编写获取 arXiv 论文的代码，这样能够稳定输出论文，从而充分利用大语言模型自动撰写报告。
arXiv 是一个开放给所有人的精选研究共享平台。在 Python 中我们可以通过 arxiv 的 pip 包进行检索或者获取论文。arxiv 包较为简单，包含三个类型 Client、Search 和 Result。
首先安装依赖：
pip install arxiv
编写获取论文代码：
import arxiv
client = arxiv.Client()
# 设定检索条件
search = arxiv.Search(
query="head pose estimation",
max_results=10,
sort_by=arxiv.SortCriterion.SubmittedDate
)
# 获取返回结果
paper = next(client.results(search))
print(paper.title, paper.summary)
检索论文就是如此方便。这里需要注意 client.results(search) 返回的是 Generator[Result, None, None]，因此需要使用 generator 来获取调用结果。此外，由于 arXiv 没有时间过滤功能，要么自己获取大量论文后手动按照时间过滤，这请求量会比较大，本文暂不考虑时间过滤。其次，考虑到论文的数量不宜过多，可能会超过 LLM 的 Context Window，因此限制数量大小默认为 10。
为了适配 LLM 函数调用，我们可以使用 Python typing 来注解这个函数：
from typing import TypedDict, Optional, List, Annotated
class Paper(TypedDict):
title: str
published: str
summary: str
def search_arxiv(query: Annotated[str, "query string of arxiv"],
max_results: Annotated[Optional[int], "the max result from arxiv"] = 10) -> Annotated[List[Paper], "a List of paper contains paper's title, published and summary"]:
import arxiv
client = arxiv.Client()
# 执行检索
search = arxiv.Search(
query=query,
max_results=max_results,
sort_by=arxiv.SortCriterion.Relevance
)
results = list(client.results(search))
papers = []
for result in results:
papers.append(Paper(title=result.title, published=result.published.strftime("%Y-%M-%d"), summary=result.summary))
return papers
在 4.1 中已经实现适合 LLM 函数调用的检索 arXiv 方法，在这一节我们将尝试使用 ReAct 式的流程来实现函数调用。ReAct 能够推导当前要做什么 Thought，Action 是什么，然后执行 Action，再把结果给到 Observation。
Prompt 模板如下：
ReAct_prompt = """
Answer the following questions as best you can. You have access to tools provided.
Use the following format:
Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take
Action Input: the input to the action
Observation: the result of the action
... (this process can repeat multiple times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question
Begin!
Question: {input}
"""
实例化用户和助手 Agent：
user_proxy = UserProxyAgent(
name="User",
is_termination_msg=lambda x: x.get("content", "") and x.get("content", "").rstrip().endswith("TERMINATE"),
human_input_mode="ALWAYS",
max_consecutive_auto_reply=10,
code_execution_config={"work_dir": "coding", "last_n_messages": 3, "use_docker": False},
)
assistant = AssistantAgent(
name="Assistant",
system_message="Only use the tools you have been provided with. Reply TERMINATE when the task is done.",
llm_config=llm_config,
)
将函数注册到两个 Agent 上：
register_function(
search_arxiv,
caller=assistant,
executor=user_proxy,
name="search_arxiv",
description="Search the arxiv for the given query to get the paper",
)
最后调用对话，其中自定义了 message 使用 react_prompt_message 方法构造 Prompt 输入。
def react_prompt_message(sender, recipient, context):
return ReAct_prompt.format(input=context["question"])
task = "使用 arxiv 包获取 2020-2024 年期间所有头部姿态识别的论文并撰写一篇报告"
papers = user_proxy.initiate_chat(assistant, message=react_prompt_message, question=task)
LLM 给出推导 Thought 和 Action 以及 Action 的输入，并且字段 tools 告知 AutoGen 需要调用工具 search_arxiv 并且给出了参数。调用 search_arxiv 函数返回论文信息。由于返回太多，考虑阅读体验，做了删减。除非 LLM 的 Token 限制比较大，否则这里最好是给他反馈将参数调小，不然很容易报 502。
从输入的消息来看，输入是包括了历史的输入和输出，因此最后的输出依然是重新推理要做的事情，并没有因为输入较多，导致 LLM 丢失要做的事情，他依然推导出下一步需要撰写报告。
本文尝试从查找论文入手，获取关于头部姿态评估的研究，并使用 AutoGen 自动编码来实现数据收集和报告撰写。我们设计了包括规划、工程、执行和写作等多个 Agent，并通过群聊和自动选择 Agent 的应答和转换来协调工作。然而，发现该流程过于动态，对 LLM 的要求较高，失败几率较大。
最终，我们决定编写检索论文的代码，并采用 ReAct Prompt 范式来完成报告撰写。尽管 ReAct 在任务执行上高效，但也显示出 AssistantAgent 承担了过多职责。它的设定应尽量简单。我们应该坚持专人专事的原则，分别使用不同的 Agent 来获取 arXiv 论文和撰写文档。这种做法允许我们对撰写文档的 Agent 设定更专业的 Prompt，从而提高工作效率和专业性。
在实际部署中，建议注意以下几点：
max_results 或使用 RAG 技术处理长文本。通过上述优化，可以实现一个相对稳定的自动化科研辅助系统，大幅减少人工检索和整理文献的时间成本。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online