基于 LangChain 与 ChatGLM2 的本地知识库搭建实践

执行后获取生成的 Public URL 即可在浏览器访问。

部署 LangChain-ChatGLM

LangChain-ChatGLM 是基于 LangChain 思想构建的本地知识库问答应用，针对中文场景优化，支持离线运行。

1. 克隆项目

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git
cd langchain-ChatGLM
pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple

2. 下载 Embedding 模型

默认使用 text2vec-large-chinese，显存占用较大。推荐使用轻量版 text2vec-base-chinese。

git clone https://huggingface.co/shibing624/text2vec-base-chinese

3. 修改配置文件

编辑 config/model_config.py，指定本地模型路径：

embedding_model_dict = {
    "text2vec-base": "/mnt/workspace/text2vec-base-chinese",
}
EMBEDDING_MODEL = "text2vec-base"

llm_model_dict = {
    "chatglm2-6b": {
        "name": "chatglm2-6b",
        "pretrained_model_name": "/mnt/workspace/chatglm2-6b",
    }
}
LLM_MODEL = "chatglm2-6b"

4. 适配 ChatGLM2 代码

由于版本迭代，需修改 models/loader/loader.py 中的 _load_model 方法：

LoaderClass.from_pretrained(checkpoint,
                            config=self.model_config,
                            torch_dtype=torch.bfloat16 if self.bf16 else torch.float16,
                            trust_remote_code=True, device='cuda')
# .half() 和 .cuda() 已移除，由 from_pretrained 接管

5. 启动服务

修改 webui.py 开启分享模式：

share=True

运行 python webui.py，通过生成的链接访问系统。

知识库管理与使用

1. 新建知识库：输入名称，点击'添加至知识库'。
2. 上传文档：支持 PDF、TXT 等格式，点击'上传文件并加载知识库'。
3. 问答交互：基于加载的知识库进行提问，系统将检索相关片段并生成回答。

优化与最佳实践

• 分块策略：根据文档类型调整 chunk_size。技术文档建议较小粒度（500-800），小说类可适当增大。
• 检索增强：开启多路召回机制，结合关键词检索与向量检索提升准确率。
• 显存优化：若遇到 OOM 错误，尝试使用 4-bit 量化模型或减少并发请求。
• 数据安全：本地部署确保数据不出内网，敏感信息建议脱敏处理。

通过上述步骤，可构建一个稳定、私有的 AI 问答系统，有效解决通用大模型在垂直领域的知识缺失与幻觉问题。