从长期记忆角度解析 Agent 技术

主流产品包括 Faiss、Milvus、Pinecone、Zilliz 等。Faiss 由 Facebook 开源，性能优异；Milvus 专注于云原生向量检索；Pinecone 提供托管服务。

6. 记忆管理架构

6.1 Retrieval Augmentation

悟空采用的记忆方案是检索增强生成（RAG）。通过外部存储增强模型记忆。当需要大量聊天记录或知识库时，存入向量数据库，按需获取最相关片段。

核心策略是按最近的短期记忆（Memory）和最相关的长期记忆（History）组织 LLM 记忆，以在 Token 限制下趋近完成目标。

6.1.1 短期记忆（Memory）

多轮对话历史视为短期记忆，是 Prompt 的一部分。虽然能塑造 LLM 性格，但存在 Token 消耗随轮数增加的问题。目前序列长度限制通常在 2048 至 32768 Token 不等。

解决策略：

• 滑动窗口：只保留最近 K 轮对话。
• 摘要压缩：利用 LLM 对历史对话进行总结，压缩 Token 占用。

6.1.2 长期记忆（History）

长期记忆指跨会话的持久化存储。除了微调（Fine-tune）外，更常用的方法是外部数据库存储。

实现步骤：

1. 文档切片：将长文档拆分为 Chunk，保证句子完整性。
2. Embedding 编码：使用 Embeddings API 将文本转为向量。
3. 向量存储：存入向量数据库（如 Faiss）。
4. 检索：用户提问编码后，查询相似度最高的向量，作为 Context 输入 LLM。

6.1.3 文档检索（Knowledge）

支持基于用户上传文档的问答。流程包括：

• 切片：使用分割符（如句号、换行）切分文档。
• 构建索引：调用 Embedding API 编码并插入数据库。

6.1.4 Prompt 的组成

最终 Prompt 融合以下部分：

• Role：角色设定。
• Knowledge：检索到的文档内容。
• History：长期对话记忆中相关的问答对。
• Memory：当前 Session 最新的 K 轮对话。
• Query：用户当前输入。

示例结构：

{role}
从下文中提取有用的内容进行回答，如果不在下文提到的内容，可以生成相关的内容。
{knowledge}
{history}
{memory}
问题：{query}
回答：

6.1.5 Token 控制

当 Prompt 超过最大长度时，需采取截断或摘要策略：

1. 截断文档检索结果。
2. 截断 Memory 保留一轮。
3. 对 Memory 进行预计算 Summary。
4. 仅保留 History 中的最相关记录。

6.2 重点优化方向

6.2.1 短期记忆优化

• 摘要提取：利用 LLM 对历史互动进行摘要，控制 Token 数量。
• 实体抽取：抽取重要实体和内容，利用知识图谱组织关系。

6.2.2 压缩 Prompt 参考萨里大学的研究《Unlocking Context Constraints of LLMs》，通过 Self-Information-Based Content Filtering 识别冗余内容。删除 LLM 已学习过的背景信息，在有限 Context 中放入更多有效内容。

6.2.3 向量搜索与传统搜索融合 向量搜索适合模糊匹配，传统搜索适合精确索引。融合两者可解决精准记录场景下的不足。此外，可结合第三方 Search API（如 Bing、Google）解决时效性问题。

6.3 一些思考

单次记忆增强发挥了 LLM 的信息整合能力，避免了幻觉。但未充分挖掘高阶逻辑链（Chain of Thought）能力。未来的研究方向包括结合 ReAct、Reflexion 等论文提出的方案，以及 AutoGPT、BabyAGI 等项目的实践，探索记忆与逻辑推理的深度结合。

7. 未来展望

随着模型上下文窗口的扩大（如 100K+ Token），短期记忆的压力将减轻，但长期记忆的需求依然存在。未来的 Agent 系统将更加注重：

• 多模态记忆：不仅存储文本，还包括图像、音频的关联记忆。
• 隐私保护：在本地设备上进行记忆加密与处理。
• 自适应学习：Agent 能够根据用户反馈自动调整记忆权重。

通过合理的记忆架构设计，Agent 将更接近人类的认知模式，实现真正的自主智能。