跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
编程语言AI算法

Agent Memory 文献追踪:异构存储与经验记忆机制

Agent Memory 架构综述。涵盖 MemoryBank、ZEP、SGMEM、MemTree 等方案,涉及图结构、树形聚类及 KV Cache 等存储形式。重点分析异构检索局限性与经验记忆沉淀。指出语义表征难以解决深层推理,需结合场景抽象工具。工程落地应重效用而非泛用性。

黑客发布于 2026/4/8更新于 2026/5/2614 浏览
Agent Memory 文献追踪:异构存储与经验记忆机制

Agent Memory 相关文献综述:异构存储与经验记忆

背景与框架

在 AI Agent 时代,记忆系统的形式化定义至关重要。《Memory in the Age of AI Agents: A Survey》提出了三个核心层次:形成、演进和召回。这与早期 Survey《Rethinking Memory in AI》中的六类任务(梳理、索引、更新、删除、检索、整合)高度对应。

Memory Framework Diagram

该图清晰地展示了不同工作的专门方向。对于异构内容记忆工程而言,最关键的存储形态如下所示:

Storage Architecture

值得注意的是,Survey 强调了一个常被忽视的议题:记忆系统不仅要记录用户信息和事实,更要沉淀 Agent 的经验。这直接关系到 Agent 如何演化。

以下将介绍几篇代表性工作。尽管现有 Benchmark 覆盖了该领域诸多方面,但指标与实际开发适用性仍有差异,因此本文侧重于方法逻辑而非效果对比。

MemoryBank: 基于长时记忆的 LLM 增强

这篇经典工作常被作为基线参考。

记忆入库

  1. 会话总结:针对每日对话,生成关键信息摘要和用户画像描述。
  2. 全局整合:归总所有用户画像,形成全局视图。
  3. 时间戳与强度:为每条记忆打上时间戳及 callback 强度(初始值为 1)。

记忆检索

直接使用当前用户话语进行语义表征查询,无额外处理。

记忆更新与遗忘

采用记忆曲线管理策略。每次历史记忆被召回,其 callback 强度 加 1。丢弃决策取决于强度 SSS 和时间差 ttt,公式为 R = e^{t/S}。若 R 超过阈值则丢弃。

局限性分析:该方法依赖召回来决定遗忘,而召回又依赖相似度。这意味着一些有用但不常用的信息注定会被遗忘;需要知识推理进行二度关联的内容,也会因表征不相似而无法被检索到。

ZEP: 基于时序知识图谱的记忆架构

ZEP 构建了三层记忆库,均以图结构存储:原始层(Episode)、知识图谱层(Semantic)和信息图聚类层(Community)。其中原始层和信息图聚类层仅与知识图谱层连接,形成类似二部图的结构。

记忆入库

  • 初始化:原始消息存入 Episode 图;LLM 提取实体关系三元组存入 Semantic 图,并建立连接;对 Semantic 图进行 LPA 聚类,生成 Community 节点。
  • 更新:新消息存入 Episode 层。通过实体查询和表征检索判断新旧三元组是否重复或冲突。冲突时标记旧知识无效并写入新知识,同时继承 Cluster 标签。

记忆查询

  1. 召回:以用户消息为 Query,结合表征检索、BM25 及 BFS 图搜索(实验选取 Top-20 节点与边)。
  2. 重排:使用 BGE-reranker 优化排序。
  3. 整合:填入 Prompt 模板。

ZEP Result

效果评估

在 LongMemEval 上,ZEP 在单轮检索、时序推理、跨 Session 检索及知识更新上表现优异。但在检索 Assistant 信息时表现不如直接历史对话,原因是 ZEP 仅对用户信息构建了知识图谱层,Assistant 信息仅保留在 Episode 层,且召回易受干扰。

SGMEM: 句子图记忆

SGMEM 将 User 和 Assistant 的话切分为句子,基于语义相似性构图。查询时定位起点并进行 1-hop 遍历。

记忆入库

  1. 分块:按 N 句或轮次切分为 Chunk。
  2. 建图:每个 Chunk 内的句子作为节点,构建归属边和语义相似边。

记忆检索

  1. Query 处理:将用户消息切分为句子。
  2. 查找:利用表征在图上查找相似节点,并查询其 1-hop 邻居。
  3. 结果:提取 Step 2 和 Step 3 节点所属的 Chunk 作为结果。

记忆整合

使用语义 Re-ranker 对 Chunk 和 Message 的相似度排序,取 Top-k 拼接为 Context。

SGMEM Result

注意对比基准,SGMEM 使用的是 Qwen2.5-32B-Instruct,而 ZEP 使用了 GPT-4o。尽管如此,SGMEM 在 Top-10 Chunk 的综合准确率仍达到 70%+,略高于 ZEP 的结果。

MemTree: 分层树形记忆表示

MemTree 为 Agent 对话记录建立了 Hierarchical Cluster。分支节点不挂载具体内容,仅保留简述 c;叶子节点挂载记忆内容。

记忆入库

  1. 表征生成:原文生成 Embedding。
  2. 路由:从根节点开始逐层遍历分支节点的 c 表征,计算距离。
  3. 挂载:若找到距离小于阈值的叶子节点,新记忆挂载其上,原节点升级为分支节点;否则在合适层级新增叶子节点。
  4. 更新:挂载后,所有上级节点执行描述更新动作,确保 c 包含最新记忆信息。

记忆检索

将当前语句转化为检索表征,与树上所有节点的 c 进行相似性检索,不区分层级,配合阈值过滤和 Top-K 排序。

效果

在超长对话中,尤其是知识线索集中于末尾时,全文上下文正确率为 76.7%,而 MemTree 方法可达 84.2%。

MemTree Result

HUMAN-INSPIRED EPISODIC MEMORY: KV Cache 记忆

此方法处理的是体外参数记忆(KV Cache),不区分 User 和 Assistant 信息,将所有上文视为历史。

  1. 分块:计算 Token 的意外概率,以高概率 Token 作为分块标志。
  2. 边界调整:基于块内部 Modularity 调试边界,Key 向量即为 Modularity 表征。
  3. 索引:用块中累计 Attention Score 最高的 Key 向量作为索引。
  4. 检索:生成下一句时,用 Query 查索引向量,获取 Top-K 个 KVCache 及其前后块,形成上下文。

Buffer of Thoughts: 经验性记忆

BOT 旨在沉淀 LLM 做对的经验。它将成功的 COT 和回答抽象为解题模板,存入 Buffer。处理新问题时,先抽象问题描述,再检索匹配的经验模板。

记忆入库

LLM 解决成功问题后,提炼模板。通过表征相似度检测,若高于阈值则丢弃,避免冗余。

记忆管理

早期版本未设计旧模板退出或更新机制。

记忆整合

使用【问题描述器】输出作为检索 Key,匹配后直接插入提示工程。

PRINCIPLES: 合成策略记忆

针对引导性对话场景,该方法通过 Role-play 模拟对话,评估策略有效性,提取成功与失败路径的策略。

记忆入库

利用多 LLM 进行 Role-play 采样策略,总结场景、成功策略及失败原因。

记忆索引

以用户语句语义表征为 Query,检索策略中的 Situation 部分,按 Top-k 选择。

记忆整合

召回策略经重写模块微调,使其适配当前场景,随后注入上下文。

思考与总结

  1. 记忆内容的选择:首要问题是'记什么有用'。不同场景差异巨大,例如 Code/Tool Agent 已将记忆升格为 Skill,但对对话 Agent 而言并非最佳抽象。
  2. 检索局限:多数方法中图搜索是对语义检索的补充,但本质上未解决深层推理问题。图结构本身也依赖语义表征建立,存在循环论证风险。教育场景中,仅靠题目语义无法找到认知缺陷,必须挖掘潜层信息。
  3. 上下文腐烂:部分工作在记忆整合上下了功夫,但缺乏长期运行态下防止信息整合导致上下文腐烂的视角。
  4. 学术与工程的平衡:学术追求泛用性,工程追求适用性。实际场景设计中,效用(效果、扩展性、维护难度)比贴合论文趋势更重要。学术方法未能收敛,或许正是因为既想泛用又想简洁。

Thoughts Summary

目录

  1. Agent Memory 相关文献综述:异构存储与经验记忆
  2. 背景与框架
  3. MemoryBank: 基于长时记忆的 LLM 增强
  4. 记忆入库
  5. 记忆检索
  6. 记忆更新与遗忘
  7. ZEP: 基于时序知识图谱的记忆架构
  8. 记忆入库
  9. 记忆查询
  10. 效果评估
  11. SGMEM: 句子图记忆
  12. 记忆入库
  13. 记忆检索
  14. 记忆整合
  15. MemTree: 分层树形记忆表示
  16. 记忆入库
  17. 记忆检索
  18. 效果
  19. HUMAN-INSPIRED EPISODIC MEMORY: KV Cache 记忆
  20. Buffer of Thoughts: 经验性记忆
  21. 记忆入库
  22. 记忆管理
  23. 记忆整合
  24. PRINCIPLES: 合成策略记忆
  25. 记忆入库
  26. 记忆索引
  27. 记忆整合
  28. 思考与总结
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • C++ 基础数据类型详解与课后练习
  • Quest 一体机 SideQuest 安装与本地游戏导入指南
  • YOLOv10n-GoldYolo 多旋翼无人机目标检测与识别实战指南
  • ComfyUI-Workflows-ZHO 工作流使用指南
  • AI 辅助编程:如何利用 GitHub Copilot 等工具提升开发效率
  • ToDesk、顺网云与海马云部署 DeepSeek 模型实测对比
  • 在本地 Mac 上从零部署 OpenClaw AI Agent 教程
  • MySQL Event 事件是否启用及开启方法
  • 利用 NotebookLM 快速生成 PPT 与动漫风格漫画
  • 本地离线部署 Whisper 模型进行语音转写
  • React K 线图组件与股票数据 SDK 实现方案
  • 向大模型学习:优化人类思维模式与认知结构
  • CSP 小明种苹果题目复盘:边界条件的陷阱
  • 从 vw/vh 到 clamp(),前端响应式设计的痛点与进化
  • AIGC 中的变分自编码器(VAE)原理与 PyTorch 实现
  • LLM Agent 数据库应用设计(一):Text-to-SQL 与 DIN-SQL 详解
  • 2023 护网行动网络安全技术面试题目汇总
  • Dear ImGui 零基础集成指南:快速构建轻量级 C++ 用户界面
  • Git LFS 跨平台安装指南:Linux、macOS 与 Windows 配置详解
  • Cursor 集成 MCP 服务:从配置到实战

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online