介绍利用 LangChain 框架结合 ChatGLM 大模型构建私有化本地知识库问答系统的完整方案。内容涵盖环境准备、文本数据加载与切分策略、Embedding 生成方式对比（OpenAI 与 HuggingFace）、向量数据库选型（Chroma 与 FAISS）以及检索增强生成链路的实现细节。通过本地部署模型，有效避免调用外部 API，保障数据安全并降低长期成本。文中提供详细的代码示例与参数配置说明，辅助开发者快速掌握基于大模型的智能问答应用开发流程。
最近有看到可以利用 LangChain + OpenAI 的 API 来实现一个问答系统。既然可以将 ChatGLM 集成进 LangChain，是不是我们可以在完全不使用 OpenAI 的情况下来实现一个私有化的本地知识库问答系统的搭建呢？本文将介绍一种可行的方案。
在开始之前，请确保已安装以下依赖库：
pip install langchain langchain-community chromadb sentence-transformers transformers torch
首先需要将 ChatGLM 模型加载到 LangChain 中。通常可以通过 HuggingFacePipeline 或特定的 LangChain 适配器来实现。这里假设已经封装好了对应的接口。
本文使用一篇公开的新闻数据来做测试。
参照 Text Splitters 文档，可以选择对应的文本切分器。如果是通用文本的话，建议选择 RecursiveCharacterTextSplitter，代码如下：
from langchain.document_loaders import UnstructuredFileLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
# 导入文本
loader = UnstructuredFileLoader("./data/news_test.txt")
# 将文本转成 Document 对象
data = loader.load()
print(f'documents:{len(data)}')
# 初始化加载器
# chunk_size: 每一个分片的最大大小
# chunk_overlap: 相邻的块之间的最大重叠，有助于保持上下文连续性
text_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=0)
# 切割加载的 document
split_docs = text_splitter.split_documents(data)
print("split_docs size:", len(split_docs))
打印结果如下：
documents: 1
split_docs size: 31
目前有两种主要方式可以生成 Embedding 数据：
直接使用 OpenAIEmbeddings 来生成 Embedding 数据
from langchain.embeddings.openai import OpenAIEmbeddings
import os
from dotenv import load_dotenv
load_dotenv()
os.environ["OPENAI_API_KEY"] = os.getenv("OPENAI_API_KEY")
# 如果希望通过代理来访问可以配置上
# os.environ["OPENAI_API_BASE"] = os.getenv("OPENAI_API_BASE")
embeddings = OpenAIEmbeddings()
使用 HuggingFaceEmbeddings 来生成 Embedding 数据
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
import sentence_transformers
embedding_model_dict = {
"ernie-tiny": "nghuyong/ernie-3.0-nano-zh",
"ernie-base": "nghuyong/ernie-3.0-base-zh",
"text2vec": "GanymedeNil/text2vec-large-chinese",
"text2vec2": "uer/sbert-base-chinese-nli",
"text2vec3": "shibing624/text2vec-base-chinese",
}
EMBEDDING_MODEL = "text2vec3"
# 初始化 huggingFace 的 embeddings 对象
embeddings = HuggingFaceEmbeddings(model_name=embedding_model_dict[EMBEDDING_MODEL])
embeddings.client = sentence_transformers.SentenceTransformer(
embeddings.model_name, device='mps')
两种方式的差别：
有多种向量数据库选择，这里选择比较简单的 Chroma，因为比较轻量，直接安装库就可使用。
from langchain.vectorstores import Chroma
# 初始化加载器
db = Chroma.from_documents(split_docs, embeddings, persist_directory="./chroma/openai/news_test")
# 持久化
db.persist()
持久化后，可以直接选择从持久化文件中加载，不需要再重新处理即可使用了，使用方式如下：
db = Chroma(persist_directory="./chroma/news_test", embedding_function=embeddings)
当然也可使用 FAISS，使用方式也类似：
持久化
from langchain.vectorstores import FAISS
db = FAISS.from_documents(split_docs, embeddings)
db.save_local("./faiss/news_test")
加载已持久化向量
db = FAISS.load_local("./faiss/news_test", embeddings=embeddings)
如果只想使用 embedding 来计算句子的相似度，可以直接类似下面这样使用：
# 初始化 prompt 对象
question = "2022 年腾讯营收多少"
similarDocs = db.similarity_search(question, include_metadata=True, k=4)
[print(x) for x in similarDocs]
最多返回匹配的前 4 条相似度最高的句子
如果想接入 ChatGLM 来帮忙做总结和汇总的话，可以如下使用：
from langchain.chains import RetrievalQA
retriever = db.as_retriever()
# 注意：ChatGLM 类需根据实际集成的适配器进行初始化
qa = RetrievalQA.from_chain_type(llm=ChatGLM(temperature=0.1), chain_type="stuff", retriever=retriever)
# 进行问答
query = "2022 年腾讯营收多少"
print(qa.run(query))
最终效果可能并不是很好，这可能跟文本切分、embedding 生成都有关系，需要再不断调节，但是整体思路和方案是可行的。
本文使用 LangChain + ChatGLM 来实现一个简单的基于本地知识库的问答系统，可以在完全不使用 OpenAI 提供的 API 来完成本地知识库问答系统的搭建。
注意事项：
CodeTextSplitter，长文档可尝试按段落切分。k 值（返回相似文档数量）和 score_threshold（相似度阈值）来平衡召回率和准确率。RetrievalQA 中自定义 Prompt 模板可以显著提升回答质量，例如增加背景信息约束。通过上述步骤，开发者可以构建一个完全私有化、数据安全的本地智能问答应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online