LLM 大模型存储记忆功能详解

3. 混合模式：短期 + 长期，实战主流方案

实际开发中，很少单独用短期或长期记忆，更多是'短期记忆保连贯，长期记忆补历史'——也就是「短期记忆 + 长期检索增强（RAG）」的混合模式。

• 工作流程：用户提问时，先从短期记忆里拿近期对话，再从长期存储（比如 Milvus）里检索相关历史信息，两者结合后传给大模型，既保证当前对话流畅，又能调用跨会话记忆。

三、记忆功能核心设计：短期 vs 长期，怎么选？

短期记忆和长期记忆各有优劣，用的时候要根据场景选。下面用表格把关键差异说清楚，一看就懂：

四、记忆功能怎么实现？3 种关键方式

不管是短期还是长期记忆，核心都是'存得下、取得到'。下面讲 3 种实战中常用的实现方式：

1. 短期记忆：历史消息拼接

这是最简单的实现方式，LangChain 的 ConversationBufferMemory 就是干这个的——把每一轮对话都存起来，生成新回复时拼接成'历史对话 + 当前问题'的格式。

• 简化示例代码：

from langchain.memory import ConversationBufferMemory 
from langchain.chat_models import ChatOpenAI 
from langchain.chains import ConversationChain 

# 初始化短期记忆（内存存储）
memory = ConversationBufferMemory()

# 初始化聊天模型和对话链
llm = ChatOpenAI(temperature=0) 
conversation = ConversationChain(llm=llm, memory=memory)

# 第一轮对话：存记忆
conversation.predict(input="我叫张三")
# 输出："你好张三！"

# 第二轮对话：用记忆
conversation.predict(input="我叫什么名字？")
# 输出："你叫张三"

2. 长期记忆：结构化 + 向量化存储

长期记忆需要'持久化存储'，常用两种方式：

• 结构化存储：用 MySQL 等关系库，把用户信息存成表（比如用户表、订单表），需要时精准查询（比如查'用户 A 的 2027 年购买记录'）；
• 向量化存储：把非结构化文本（比如对话记录、诊断报告）通过 Embedding 转成向量，存到 Milvus 等向量库，需要时用'相似度检索'找相关记忆（比如查'和用户 A 聊过的微积分知识点'）。

3. 混合模式：短期记忆+RAG 检索

结合短期记忆的流畅性和长期记忆的持久性，是实战首选。比如用 VectorStoreRetrieverMemory，既存短期对话，又能从向量库拉长期记忆。

• 核心逻辑：用户提问时，先从短期记忆拿近期对话，再从向量库检索相关长期记忆，两者合并后传给大模型。

五、应用场景与实战案例

记忆功能的价值，最终要落地到场景里。下面两个案例是实战中最常用的，带大家感受下怎么用：

案例 1：个性化教育助手（记住学习目标）

需求：记住用户的学习目标（比如'掌握微积分'），后续推荐资料时精准匹配。

• 实战伪代码（用 LangChain+ 向量库）：

from langchain.memory import VectorStoreRetrieverMemory 
from langchain.embeddings import OpenAIEmbeddings 
from langchain.vectorstores import Milvus 
from langchain.chat_models import ChatOpenAI 
from langchain.chains import ConversationChain 

# 1. 初始化 Milvus 向量库（存储长期记忆）
embeddings = OpenAIEmbeddings() 
vectorstore = Milvus( 
    embedding_function=embeddings, 
    connection_args={"host":"localhost","port":"19530"}, 
    collection_name="student_memory")

# 2. 初始化记忆系统（短期 + 长期）
retriever = vectorstore.as_retriever(search_kwargs={"k":3})# 取 Top3 相关记忆
memory = VectorStoreRetrieverMemory(retriever=retriever)

# 3. 存储学习目标（长期记忆）
memory.save_context({"input":"我的学习目标是掌握微积分"},{"output":"目标已记录，将推荐相关资源"})

# 4. 存储知识点学习记录（长期记忆）
explanation ="洛必达法则是用于求不定式极限的方法，适用于 0/0、∞/∞型极限..." 
memory.save_context({"input":"请解释洛必达法则"},{"output":f"{explanation} 已添加到你的学习清单"})

# 5. 后续对话：根据记忆推荐资料（调用长期记忆）
llm = ChatOpenAI(temperature=0) 
conversation = ConversationChain(llm=llm, memory=memory) 
response = conversation.predict(input="根据我的目标推荐学习资料")
print(response)
# 输出："基于你的学习目标（掌握微积分）和已学知识点（洛必达法则），推荐《普林斯顿微积分读本》..."

案例 2：电商推荐引擎（记住用户行为）

需求：记住用户的购买、浏览、退货记录，分析兴趣并推荐商品（带时间权重，新行为比旧行为重要）。

• 实战伪代码（用 TimeWeightedVectorStoreRetriever）：

from langchain.retrievers import TimeWeightedVectorStoreRetriever 
from langchain.embeddings import OpenAIEmbeddings 
from langchain.vectorstores import Milvus 
from langchain.schema import Document 

# 1. 初始化 Milvus 向量库
embeddings = OpenAIEmbeddings() 
vectorstore = Milvus( 
    embedding_function=embeddings, 
    connection_args={"host":"localhost","port":"19530"}, 
    collection_name="user_behavior")

# 2. 初始化带时间权重的记忆检索器（新记忆权重高）
retriever = TimeWeightedVectorStoreRetriever( 
    vectorstore=vectorstore, 
    decay_rate=0.95,# 记忆衰减系数（越旧的记忆权重越低）
    k=5# 取 Top5 相关记忆)

# 3. 存储用户行为（购买、浏览、退货）
retriever.add_documents([ 
    Document(page_content="用户 2026-12-01 购买手机", metadata={"type":"purchase"}), 
    Document(page_content="用户 2027-03-15 浏览笔记本电脑", metadata={"type":"browse"}), 
    Document(page_content="用户 2027-06-20 退货耳机", metadata={"type":"return"})])

# 4. 分析用户兴趣（检索带时间权重的记忆）
relevant_memories = retriever.get_relevant_documents("分析用户近期兴趣")
for doc in relevant_memories:
    print(doc.page_content)
# 输出（按权重排序）：
# "用户 2027-06-20 退货耳机"
# "用户 2027-03-15 浏览笔记本电脑"
# "用户 2026-12-01 购买手机"

六、大模型长短期记忆选择决策树：该用哪种？

很多小伙伴会纠结'什么时候用短期记忆，什么时候用长期记忆'，这里给大家一个简单的决策树，照着选就行：

1. 基础用法：用短期记忆
   • 场景：单次对话、不需要跨会话记住信息、功能简单（比如临时聊天、一次性咨询）；
   • 工具：LangChain 的 ConversationBufferMemory、ConversationSummaryMemory（总结记忆，减少 token 占用）。
2. 进阶用法：用长期记忆 + 向量数据库
   • 场景：需要跨会话记忆、个性化服务、数据量大（比如电商推荐、医疗助手）；
   • 工具：LangChain+Milvus/Pinecone+Embedding 模型。
3. 高级用法：多用户隔离记忆（会话级）
   • 场景：多用户使用（比如 SaaS 平台、多用户助手），需要区分不同用户的记忆；
   • 实现：给每个用户分配唯一 ID，存储记忆时带上用户 ID，检索时按用户 ID 过滤（比如 Milvus 里给向量加用户 ID 元数据）。

总结

大模型的记忆功能，本质是'让模型从'一次性问答工具'变成'有持续交互能力的助手''——短期记忆保对话流畅，长期记忆做个性化服务，混合模式则是实战中的最优解。