AI Agent 入门：从定义到核心能力与展望

过去，RL 打造的 AI Agent 虽然强，但局限明显：一个模型只能干一件事。现在有了 LLM（像 ChatGPT、Grok 这样的语言模型），情况变了。LLM 的超能力在于通用性——它能理解文字、回答问题、写代码，甚至看图说话。那能不能直接让它当 AI Agent 呢？

答案是可以的！LLM 驱动的 AI Agent 是这样工作的：

1. 目标用文字输入：比如「帮我下赢围棋」。
2. 环境转成文字或图片：棋盘状态可以用文字描述（「黑子在 A1，白子在 B2」），或者直接给图片。
3. 行动用文字输出：LLM 说「我要在 C3 落子」，然后有人或系统把这文字转成实际操作。
4. 循环直到成功：环境变了，LLM 再观察、再输出新行动。

这跟 RL 的区别是：LLM 不用专门训练，它靠已有的语言理解能力，直接「猜」下一步该干啥。是不是很省事？

[图：LLM 驱动 Agent 工作流程]

2.2 LLM 做 Agent 的优缺点

优点

• 灵活性：不像 AlphaGo 只能下围棋，LLM 能处理各种任务，只要你能用文字描述目标。
• 无需定义 Reward：RL 得手工设计奖励函数（比如「赢棋 +1」），但这很难调。LLM 直接读懂目标和反馈，比如给它个错误日志，它自己就能改代码，不用你说「错一次 -1」。
• 无限可能：LLM 能输出任何文字，行动空间几乎无限制，而 AlphaGo 只能在 19×19 的棋盘里挑一个点。

缺点

• 不靠谱：LLM 本质是「文字接龙机」，它可能瞎猜一步，而不是深思熟虑。
• 依赖描述：环境得转成文字或图片，如果描述不清楚，它就懵了。

曾有新闻报道，有人让 ChatGPT 和 DeepSeek 下象棋，结果它们把「兵」当「马」跳，还凭空变出棋子，最后 DeepSeek 吃了自己一子宣布胜利，ChatGPT 还认输了……这说明，LLM 做 Agent 还得磨练。

三、AI Agent 的三大关键能力

文中把 AI Agent 的能力拆成三块：根据经验调整行为、使用工具、做计划。这三点决定了它能不能从「听话工具」进化成「聪明助手」。

3.1 根据经验调整行为

这个能力为什么重要？

人类做事靠经验，AI Agent 也一样。比如你写代码报错，编译器告诉你「缺个分号」，下次你就记得加分号。AI Agent 得有类似能力，看到反馈后调整下一步。

LLM 怎么做到？

LLM 不用调参数，直接把反馈塞进输入，它就变聪明了。比如：

• 输入：「写个加法函数。」
• 输出：def add(a, b): return a + b
• 反馈：「有错，b 没定义类型。」
• 新输入：「写个加法函数，反馈说 b 没定义类型。」
• 新输出：def add(a: int, b: int) -> int: return a + b

这靠的是 LLM 的「上下文学习」（In-Context Learning），不用训练，输入变了，输出就变。

挑战：记忆爆炸

如果每次行动都把历史全塞给 LLM，步数一多（比如 1 万步），输入就太长，算力撑不住。怎么办？文中提了三个模块：

• Write（写入）：决定啥值得记。比如「桌子在那儿」不重要，「对手下了关键一步」才记。
• Read（读取）：从记忆里挑相关经验，像 RAG（检索增强生成）技术，从海量数据里找有用的。
• Reflection（反思）：总结经验，比如「对手老爱走中间，我得防着点」。

实验发现，正面反馈（「这步对了」）比负面反馈（「这步错了」）更有效，因为 LLM 更擅长照着「好例子」学。

[图：记忆管理模块示意图]

3.2 使用工具

为什么需要工具？

LLM 再强，也有短板。比如它不会直接查天气，得靠外部工具。工具就像 AI Agent 的「外挂」，让它能干更多事。

怎么用？

一个通用方法：

• 告诉它工具咋用：比如 用 Temperature(地点，时间) 查温度。
• 输入问题：今天台北多热？
• 输出指令：[Tool] Temperature(台北，现在) [Tool]
• 执行并反馈：[Output] 28°C [Output]
• 最终回答：台北现在 28°C。

常用工具包括：

• 搜索引擎：查资料（RAG）。
• 代码执行器：写程序并运行。
• 其他 AI：比如让语音 AI 帮它听音频。

[图：工具调用流程]

挑战：工具多了咋办？

工具一多（比如上千个），LLM 不可能全记住。解决办法是用「工具选择模块」，像 RAG 一样，从工具库里挑合适的。更有趣的是，LLM 还能自己写代码造工具，存起来复用。

小心工具出错

工具可能给错信息，比如搜索引擎搜到恶搞贴说「披萨起司用胶水粘」。LLM 有一定判断力（比如「1 万度太离谱」），但有时也会被忽悠，得教它别太信工具。

3.3 做计划

什么是计划？

计划就是先想好步骤再行动。比如刷牙：找牙刷 → 挤牙膏 → 刷 → 漱口。AI Agent 也得会规划，不然每步都随机试，太笨了。

LLM 能规划吗？

能，但不完美。给它说「做百万订阅 YouTuber」，它能列个计划：选主题 → 优化标题 → 做直播……听起来不错，但细节常出错。比如安排旅行，它可能忘了预算限制，或者行程撞车。

怎么提升？

有几个思路：

1. 试错法（Tree Search）：每步都试试，挑最好的。但算力成本高，得剪掉没希望的路。
2. 脑内模拟（World Model）：让 LLM 自己猜下一步会咋样，像做梦一样规划。比如网页买东西，它先想象「点这个会跳到哪」。
3. 用工具帮忙：复杂限制（像预算）交给专门的求解器，LLM 只管写代码调用。

实验显示，新模型（如 o1）在「神秘方块世界」这种怪题上表现更好，说明推理能力帮了大忙。但有时它们也「想太多」，光模拟不行动。

[图：规划能力提升示意]

四、未来展望

4.1 AI Agent 能干啥？

• 游戏：AI NPC 自己聊天、办派对，甚至建社区。
• 用电脑：订 Pizza、买票，像人类一样操作屏幕。
• 科研：提研究提案、做实验。
• 训练 AI：写代码跑模型，调参数，比 baseline。

4.2 短板在哪？

• 不稳定：下棋能胡来，旅行计划超预算。
• 依赖环境描述：描述不清就抓瞎。
• 想太多或太少：要么卡在脑内模拟，要么直接放弃。

4.3 AI Agent 离「全能助手」还有多远？

• 实时互动：像语音对话，得随时调整，不能一问一答。
• 更好记忆：挑重要经验，别记鸡毛蒜皮。
• 更强规划：结合推理和工具，少想多做。

结语

AI Agent 是 AI 从「工具」到「伙伴」的进化。它用 LLM 的通用性，摆脱了 RL 的局限，虽然还不完美，但潜力巨大。未来，LLM 可能不仅是 Agent 的「大脑」，还能模拟环境、造工具，甚至自己进化。到那时，你说「帮我赚一百万」，它真能自己开公司也说不定。