LangChain 框架下知识库问答系统的搭建与实现

from langchain.document_loaders import DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

# 从本地目录加载所有 PDF 文件
loader = DirectoryLoader('./data/', glob='**/*.pdf', show_progress=True)
docs = loader.load()

# 使用递归字符分割器，设置合适的 chunk_size 和 overlap
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=100,
    length_function=len,
    is_separator_regex=False
)
docs_split = text_splitter.split_documents(docs)

2. 嵌入模型与向量数据库

将文本块转换为向量需要使用 Embedding 模型。OpenAI 的 text-embedding-ada-002 是常用选择，也可使用本地部署的模型如 BGE。

向量数据库用于高效存储和检索高维向量。ChromaDB 因其轻量级和易用性，非常适合本地演示和原型开发。

from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import Chroma

# 初始化嵌入模型
embeddings = OpenAIEmbeddings(openai_api_key="YOUR_API_KEY")

# 将文档存入 Chroma 向量存储
vector_store = Chroma.from_documents(documents=docs_split, embedding=embeddings)

# 初始化检索器
retriever = vector_store.as_retriever(search_kwargs={"k": 3})

3. 构建问答链

这是系统的核心部分。我们需要定义 Prompt 模板，控制模型的行为，防止其编造事实。

from langchain.chains import ConversationalRetrievalChain
from langchain.chat_models import ChatOpenAI
from langchain.prompts import PromptTemplate

# 定义系统提示词
system_template = """
Use the following pieces of context to answer the users question.
If you don't know the answer, just say that you don't know, don't try to make up an answer.
Answering these questions in Chinese.
-----------
{question}
-----------
{chat_history}
"""

PROMPT = PromptTemplate(
    input_variables=["question", "chat_history"],
    template=system_template
)

# 初始化大语言模型
llm = ChatOpenAI(temperature=0.1, max_tokens=2048, openai_api_key="YOUR_API_KEY")

# 构建问答链
qa_chain = ConversationalRetrievalChain.from_llm(
    llm=llm,
    retriever=retriever,
    combine_docs_chain_kwargs={"prompt": PROMPT}
)

4. 完整交互流程

将上述组件整合到一个循环中，实现持续的多轮对话。

chat_history = []

while True:
    user_question = input('请输入您的问题：')
    if not user_question:
        break
    
    result = qa_chain({"question": user_question, "chat_history": chat_history})
    print(f"助手：{result['answer']}")
    
    # 更新历史记录
    chat_history.append((user_question, result['answer']))

优化与最佳实践

1. 提升检索精度

• 混合检索：结合关键词检索（BM25）和向量检索，提高召回率。
• 重排序（Rerank）：对初步检索的结果进行二次排序，选取最相关的片段。
• 元数据过滤：利用文档的元数据（如时间、作者）缩小检索范围。

2. 减少模型幻觉

• 严格约束 Prompt：明确指示模型仅基于提供的上下文回答，不知道则承认。
• 引用来源：要求模型在回答时标注引用的文档片段，增加可信度。

3. 性能优化

• 缓存机制：对相同的查询结果进行缓存，减少重复计算。
• 异步处理：对于高并发场景，使用异步 IO 处理请求。

常见问题排查

1. API 调用失败：检查网络连接及 API Key 是否有效，确认配额是否充足。
2. 检索结果为空：检查 Chunk 大小是否过大导致语义断裂，或向量数据库未正确初始化。
3. 回答不连贯：调整 Temperature 参数，降低随机性；优化 Prompt 模板结构。

总结

本文详细介绍了利用 LangChain 框架构建知识库问答系统的完整流程。从环境搭建、数据处理、向量存储到最终的问答链实现，涵盖了 RAG 应用开发的关键环节。通过合理配置各组件参数，开发者可以快速构建出具备私有知识问答能力的智能应用。未来，随着 LangChain 生态的完善，我们将能更便捷地集成更多高级功能，如智能体规划、复杂工具调用等，进一步拓展 AI 应用的边界。

在实际生产环境中，还需考虑数据安全、隐私保护及系统稳定性等问题。建议在生产部署前进行充分的测试与压力评估，确保系统能够满足业务需求。