大语言模型存在知识幻觉及领域局限问题，外挂知识库是解决垂直领域问答的有效方案。本文介绍基于 LangChain 框架结合 ChatGLM2 开源模型构建本地私有化知识库的完整流程。涵盖环境准备、模型部署、系统安装及知识库文档管理。通过文本加载、分块、向量化及向量数据库存储技术，实现精准检索与回答，降低幻觉风险，支持离线运行与中文场景优化。重点讲解了 ChatGLM2 与 Embedding 模型的配置细节，以及 LangChain-ChatGLM 项目的适配方法与运行维护技巧。
大语言模型虽然具备强大的生成能力，但其知识来源于训练数据集，对于小众知识、内部数据或私密个人数据往往无法准确回答，甚至产生幻觉。为了解决这一问题，将私有数据挂载到大模型上成为主流方案。外挂知识库（RAG）相比微调门槛更低，主要涉及文档加载、切分、向量化、持久化存储及相似度检索等环节。
支持多种格式，包括纯文本、PDF、Word、Markdown 等。需确保编码正确，避免乱码影响后续处理。
将长文本按规则切分为小块，以便向量化。关键参数包括：
合理的分块策略能显著提升检索准确率，建议采用递归字符分割器。
将离散文本转换为连续向量空间中的点。常用开源模型包括 Text2Vec、Ernie-3.0、M3E 等。在检索时，将用户问题转化为向量，与文档向量计算余弦相似度，返回得分最高的片段。
使用向量数据库存储向量索引，便于快速检索。常见选择有 Chroma、Qdrant、Faiss 等。
运行本地 LLM 需要较强的硬件支持。建议配置至少 16GB 显存的 GPU 服务器。ChatGLM2-6B 推理需约 12GB 显存，加上 LangChain 其他组件及 Embedding 模型开销，16GB 是最低推荐标准。若显存不足，可考虑量化版本模型。
ChatGLM2 是开源中英双语对话模型第二代，中文处理能力更强，支持更长上下文和高效推理。
git clone https://github.com/THUDM/ChatGLM2-6B.git
cd ChatGLM2-6B
pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple
自动下载：直接运行 web_demo.py，程序会自动检测并下载模型至 ~/.cache/huggingface/hub/models--THUDM--chatglm2-6b/blobs，大小约 10GB。
手动下载：使用 Git LFS 下载。
git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b
修改 web_demo.py 中的模型路径指向本地目录，并启用量化以节省显存：
model = AutoModel.from_pretrained("/mnt/workspace/chatglm2-6b", trust_remote_code=True).quantize(4).cuda()
启动 Web 服务，默认端口 7860。如需外网访问，修改启动参数：
demo.queue().launch(share=True, inbrowser=True)
执行后获取生成的 Public URL 即可在浏览器访问。
LangChain-ChatGLM 是基于 LangChain 思想构建的本地知识库问答应用，针对中文场景优化，支持离线运行。
git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git
cd langchain-ChatGLM
pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple
默认使用 text2vec-large-chinese，显存占用较大。推荐使用轻量版 text2vec-base-chinese。
git clone https://huggingface.co/shibing624/text2vec-base-chinese
编辑 config/model_config.py，指定本地模型路径：
embedding_model_dict = {
"text2vec-base": "/mnt/workspace/text2vec-base-chinese",
}
EMBEDDING_MODEL = "text2vec-base"
llm_model_dict = {
"chatglm2-6b": {
"name": "chatglm2-6b",
"pretrained_model_name": "/mnt/workspace/chatglm2-6b",
}
}
LLM_MODEL = "chatglm2-6b"
由于版本迭代，需修改 models/loader/loader.py 中的 _load_model 方法：
LoaderClass.from_pretrained(checkpoint,
config=self.model_config,
torch_dtype=torch.bfloat16 if self.bf16 else torch.float16,
trust_remote_code=True, device='cuda')
# .half() 和 .cuda() 已移除，由 from_pretrained 接管
修改 webui.py 开启分享模式：
share=True
运行 python webui.py，通过生成的链接访问系统。
通过上述步骤，可构建一个稳定、私有的 AI 问答系统，有效解决通用大模型在垂直领域的知识缺失与幻觉问题。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online