LLM 存储优化实战：解决大量 QA 与长对话问题

四、带摘要存储的对话系统

实战准备

先安装依赖：

pip install langchain langchain-openai langchain-core pymilvus # 按需装存储依赖

实战 1：基础版——生成对话摘要

这是最基础的用法，用来测试摘要效果，看看模型能不能抓关键信息：

from langchain.memory import ConversationSummaryMemory
from langchain_openai import ChatOpenAI

# 初始化大模型（注意：不要硬编码 API Key，放环境变量里更安全）
llm = ChatOpenAI(
    model_name="qwen-plus",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    api_key="你的 api_key",
    temperature=0.7  # 摘要不用太死板，0.7 刚好
)

# 初始化摘要记忆（核心组件）
memory = ConversationSummaryMemory(llm=llm)

# 模拟对话片段
memory.save_context({"input": "AI 大模型怎么入门？"}, {"output": "先学基础概念，再调用 API，然后学 LangChain、RAG，最后实战做项目"})
memory.save_context({"input": "有没有适合零基础的课程？"}, {"output": "可以看零基础学 AI 大模型系列，从 API 调用讲到 Agent 实战"})

# 取摘要——看看效果
summary = memory.load_memory_variables({})
print("对话摘要")
print(summary["history"])
# 输出摘要，只存关键信息

实战 2：进阶版——带摘要存储的对话链

这是核心代码，用 LCEL 链式结构，支持多轮对话，自动更摘要，特别稳定：

from langchain.memory import ConversationSummaryMemory
from langchain_openai import ChatOpenAI
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate

# 1. 初始化大模型
llm = ChatOpenAI(
    model_name="qwen-plus",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    api_key="你的 api_key",
    temperature=0.7
)

# 2. 初始化摘要记忆（memory_key 要和 prompt 里的变量名一致！）
memory = ConversationSummaryMemory(
    llm=llm,
    memory_key="chat_history",
    return_messages=True  # 返回消息对象，更灵活
)

# 3. 定义 prompt——必须包含摘要变量（chat_history）
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是 AI 助手，基于对话摘要回答问题，语气亲切像聊天"),
    ("human", "对话摘要：{chat_history}\n用户现在问：{input}")
])

# 4. 构建 LCEL 链
chain = (
    RunnablePassthrough.assign(
        chat_history=lambda _: memory.load_memory_variables({})["chat_history"]
    )
    | prompt
    | llm
    | StrOutputParser()
)

# 5. 模拟用户多轮对话
user_inputs = [
    "怎么用 LangChain 做记忆功能？",
    "ConversationSummaryMemory，能存多少轮对话？",
    "它和 Milvus 结合的话，怎么存摘要？"
]

# 6. 运行对话
for query in user_inputs:
    print(f"\n用户：{query}")
    response = chain.invoke({"input": query})
    print(f"助手：{response}")
    # 手动保存上下文到记忆（LCEL 需要手动保存）
    memory.save_context({"input": query}, {"output": response})
    
    # 查看当前摘要
    current_summary = memory.load_memory_variables({})["chat_history"]
    print(f"当前对话摘要：{current_summary}")

运行效果

用户：怎么用 LangChain 做记忆功能？
助手：可以用 LangChain 的 Memory 模块，比如 ConversationBufferMemory 存完整历史，ConversationSummaryMemory 存摘要，适合长对话...
当前对话摘要：用户询问如何用 LangChain 做记忆功能，助手建议使用 Memory 模块，举例 ConversationBufferMemory 和 ConversationSummaryMemory，后者适合长对话。

用户：ConversationSummaryMemory，能存多少轮对话？
助手：它没有固定轮数限制，因为存的是摘要，不是全量对话，哪怕 100 轮，摘要也不会超太多 Token...
当前对话摘要：用户先问 LangChain 记忆功能做法，助手推荐 Memory 模块及两个子类；接着用户问 ConversationSummaryMemory 能存多少轮，助手称无固定限制，因存储的是摘要。

用户：它和 Milvus 结合的话，怎么存摘要？
助手：可以把生成的摘要转成向量，用 LangChain 的 VectorStoreRetrieverMemory，把摘要存在 Milvus 里，需要时检索相关摘要...
当前对话摘要：用户问 ConversationSummaryMemory 与 Milvus 结合的存摘要方法，助手建议将摘要转向量，用 VectorStoreRetrieverMemory 存入 Milvus，需用时检索。

看！就算聊多轮，模型也不会'失忆'，摘要里全是关键信息，Token 消耗特别少～

五、关键知识点：LCEL 和 LLMChain 怎么选？

六、避坑指南

1. 变量名要一致：memory_key（如"chat_history"）必须和 prompt 里的变量名一样，不然会报'变量未定义'；
2. 摘要模板可定制：想让摘要包含更多 QA 细节，可改 prompt，比如加一句'摘要要包含用户问题和助手核心回答'；
3. 敏感信息过滤：保存摘要前，用正则替换手机号、邮箱，避免合规风险；
4. 存储扩展：量大时，把摘要存 Milvus，用 VectorStoreRetrieverMemory，检索更快。

总结

其实解决大量 QA、长对话存储问题，核心就是'抓重点'——用 ConversationSummaryMemory 生成摘要，只存关键信息，再根据项目复杂度选 LCEL 或 LLMChain。