基于大语言模型搭建私有化知识库

安装依赖

确保当前路径在项目根目录下，安装 Python 依赖包：

pip install -r requirements.txt

注意：如果环境被回收，需重新执行此步骤。

配置文件修改

1. 设置向量模型路径

切换到【Notebook】，找到 config/model_config.py 文件并打开。将 text2vec 的路径修改为相对路径：

text2vec-large-chinese

此处使用相对路径是因为后续将在 langchain-ChatGLM 目录下启动服务，该路径表示向量模型文件夹位于项目子目录中。

2. 设置大模型路径

继续修改配置文件，指定本地部署的大模型路径。例如：

../ChatGLM2-6B/model

确认大模型名称配置正确，通常为 chatglm2-6b。

启动服务

完成上述配置后，确认当前路径为 langchain-ChatGLM，运行启动脚本：

python webui.py

程序将自动下载资源并启动 WebUI 服务。等待进度条走完，看到启动成功的提示界面。

系统会自动生成访问链接，点击即可在浏览器中打开 Web 界面。

知识库问答体验

1. 无知识库模式对比

默认情况下，系统处于纯 LLM 对话模式。尝试提问专业领域问题，例如："建筑工程的四个抗震设防类别是什么？"

此时模型可能基于通用训练数据回答，存在幻觉风险，准确性无法保证。

2. 加载知识库

1. 切换对话模式为【知识库问答】。
2. 在下拉菜单中选择或创建知识库（如 samples）。
3. 界面会出现文件上传区域，支持 .txt, .pdf, .md 等格式。

将准备好的专业文档（如抗震设防分类标准）拖入上传区，点击【上传文件并加载知识库】。

解析成功后，系统会提示内容已添加。

3. 有知识库模式验证

再次询问同样的问题。此时系统会检索知识库中的相关内容，回答准确率显著提升，并能提供答案出处引用。

常见问题与优化

1. 端口占用问题

如果启动时提示端口已被占用，可修改 webui.py 中的端口号，或在启动命令中添加参数指定端口。

2. 显存不足

若遇到 OOM（Out Of Memory）错误，请检查 GPU 显存是否充足。对于 6B 参数量的模型，建议至少配备 12GB 以上显存。可尝试降低并发数或使用量化版本模型。

3. 向量检索效果不佳

若检索结果不相关，可调整切片大小（Chunk Size）和重叠率（Overlap）。在 config/model_config.py 中可配置分块策略，通常建议根据文档类型调整分块长度。

4. 多轮对话上下文

系统默认支持一定长度的上下文记忆。如需更长的历史对话记录，可在配置文件中调整 max_history 参数。

总结

通过上述步骤，我们成功在云端环境中搭建了基于 LangChain 和 ChatGLM 的私有化知识库。相比通用大模型，引入 RAG（检索增强生成）技术后，模型能够基于企业或个人私有数据进行精准回答，有效降低了幻觉概率，提升了专业领域的可用性。用户可根据实际需求持续上传更多文档，不断丰富知识库内容。