本文介绍了基于 LangChain 框架搭建本地知识库系统的完整方案。文章首先阐述了 RAG（检索增强生成）技术的基本原理及其解决 LLM 知识滞后和幻觉问题的优势。随后详细说明了环境依赖安装、Azure OpenAI 与百度千帆 Embedding 模型的配置方法。核心部分提供了从文档加载、文本切片、向量存储到检索生成链路的 Python 代码实现，并展示了如何通过 LangServe 启动服务。最后补充了关于文本拆分策略、检索精度优化及常见问题的实践建议，帮助开发者快速落地 RAG 应用。
随着大语言模型（LLM）的快速发展，如何将其与私有数据或最新知识结合成为热门话题。本文介绍如何利用 LangChain 框架构建基于检索增强生成（RAG）技术的本地知识库系统。
RAG（Retrieval-Augmented Generation，检索增强生成）是一种通过检索外部知识库来辅助 LLM 生成的技术。它允许模型在回答问题时参考最新的、私有的或非训练数据集中的信息，从而减少幻觉并提高准确性。
现有的 LLM 主要基于公开网络数据进行训练，存在以下局限性：
RAG 通过引入外部知识源，有效解决了上述问题，确保回答基于事实且可追溯。
LangChain 是一个用于开发由语言模型驱动的应用程序的开源框架。它提供了丰富的组件，使开发者能够轻松实现：
首先，需要安装 LangChain 及其相关生态包。建议使用 Python 虚拟环境管理依赖。
pip install langchain
pip install langchain-community
pip install langchain-core
pip install langchain-experimental
pip install "langserve[all]"
pip install langchain-cli
pip install langsmith
本文以 Azure OpenAI 为例。若使用其他服务（如 OpenAI 官方、百度千帆等），需参照对应文档实例化模型。
import os
os.environ["AZURE_OPENAI_ENDPOINT"] = "your_endpoint_here"
os.environ["AZURE_OPENAI_API_KEY"] = "your_api_key_here"
Embedding 模型负责将文本转换为向量。这里演示百度千帆接入方式。
import os
from langchain_community.embeddings import QianfanEmbeddingsEndpoint
def embedQianfan():
os.environ["QIANFAN_AK"] = "your_ak_here"
os.environ["QIANFAN_SK"] = "your_sk_here"
return QianfanEmbeddingsEndpoint()
一个标准的 RAG 系统包含以下步骤：
以下是完整的实现流程，整合了上述步骤。
# 导入必要的模块
from langchain_community.vectorstores import Chroma
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel
from langchain_core.runnables import RunnableParallel, RunnablePassthrough
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import WebBaseLoader
from langchain_openai import AzureChatOpenAI
import os
# 1. 初始化 Embedding 模型
embed_model = embedQianfan()
# 2. 加载文档
# 示例加载 Dify 官方文档
raw_documents = WebBaseLoader("https://docs.dify.ai/v/zh-hans/getting-started/readme").load()
# 3. 文本拆分
# chunk_size 和 chunk_overlap 需根据 Embedding 模型的 Token 限制调整
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
all_splits = text_splitter.split_documents(raw_documents)
# 4. 创建向量数据库
vectorstore = Chroma.from_documents(
documents=all_splits,
collection_name="rag-chroma",
embedding=embed_model,
)
retriever = vectorstore.as_retriever()
# 5. 构建 Prompt 模板
template = """Answer the question in Chinese and based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
# 6. 初始化 LLM
model = AzureChatOpenAI(
azure_deployment="gpt-4",
openai_api_version="2023-05-15"
)
# 7. 构建 Chain (LCEL 表达式)
chain = (
RunnableParallel({"context": retriever, "question": RunnablePassthrough()})
| prompt
| model
| StrOutputParser()
)
():
__root__:
chain = chain.with_types(input_type=Question)
(chain.invoke())
(chain.invoke())
(chain.invoke())
(chain.invoke())
使用 LangServe 可以快速将 Chain 部署为 API 服务。
langchain serve
启动成功后，终端会显示服务地址，例如 http://127.0.0.1:8000。访问 /playground 路径即可进入调试界面。
文本拆分策略：
chunk_size。chunk_overlap 有助于保留上下文连贯性。检索精度：
top_k 参数控制检索返回的文档数量。Prompt 优化：
性能优化：
本文详细介绍了如何使用 LangChain 构建本地知识库系统。通过 RAG 架构，我们成功将外部知识与 LLM 结合，解决了知识时效性和隐私性问题。核心步骤包括文档加载、切片、向量化存储以及检索生成链路的搭建。开发者可根据实际需求替换 LLM 和 Embedding 模型，灵活扩展应用场景。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online