PythonAI算法
LangChain-Chatchat 本地知识库部署与实践
本文详细记录了 LangChain-Chatchat 的本地化部署过程，涵盖硬件软件环境要求、代码拉取与依赖安装、模型下载配置、常见问题排查及量化加速方案。重点解决了国内网络环境下的模型下载、WSL 兼容性、CUDA 版本冲突等问题，并介绍了项目结构与处理流程，为构建离线中文知识库问答系统提供参考。
本文详细记录了 LangChain-Chatchat 的本地化部署过程，涵盖硬件软件环境要求、代码拉取与依赖安装、模型下载配置、常见问题排查及量化加速方案。重点解决了国内网络环境下的模型下载、WSL 兼容性、CUDA 版本冲突等问题，并介绍了项目结构与处理流程，为构建离线中文知识库问答系统提供参考。
随着人工智能技术的快速发展，大语言模型（LLM）的应用场景日益广泛。LangChain-Chatchat 是一个基于 LangChain 与大语言模型（如 ChatGLM、Qwen 等）构建的本地知识库问答应用。其核心目标是建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。通过检索增强生成（RAG）技术，用户可以将本地文档上传至系统，实现基于私有数据的智能问答。
本文详细记录了 LangChain-Chatchat 在本地环境下的部署全过程，涵盖环境准备、代码拉取、模型配置、常见问题排查及性能优化方案，旨在为开发者提供一份完整的参考指南。
本框架使用 fschat 驱动，统一使用 huggingface 进行推理。若需顺利在 GPU 运行本地模型的 FP16 版本，需满足以下显存要求以保证稳定连续对话：
显存估算公式：
FP16: 显存占用 (GB) = 模型量级 x 2
Int4: 显存占用 (GB) = 模型量级 x 0.75
注意：Embedding 模型将额外占用 1-2GB 显存，历史记录可能占用数 GB 显存，建议预留冗余空间。内存最低要求应比模型运行显存大，例如运行 6B 模型显存占 13GB，建议使用 16GB 以上内存。
已测试系统：Linux Ubuntu 22.04.5 kernel version 6.7。
最低要求：
推荐要求：
对于 Windows 用户，建议使用 WSL2 安装 Ubuntu 子系统，以确保 Linux 命令兼容性。需注意 Windows 安装的 CUDA 版本可能与 WSL 内不一致，建议统一卸载重装为相同版本，避免依赖库报错。
克隆项目仓库并进入目录：
git clone --recursive https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
国内网络环境下直接访问 HuggingFace 较慢，推荐使用 ModelScope（魔塔社区）下载模型。首先安装 Git LFS：
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git
git clone https://www.modelscope.cn/Jerry0/m3e-base.git
修改项目配置文件 configs/model_config.py。在 LLM_MODELS 中添加 chatglm2-6b，在 EMBEDDING_MODEL 中配置 m3e-base。确保 MODEL_ROOT_PATH 指向下载的模型路径，这样启动时不会尝试从外部下载。
运行启动脚本后，终端将显示加载的 LLM 模型、Embedding 模型、API 地址及 WebUI 地址。默认 WebUI 端口为 8501，可通过浏览器访问本地 IP 进行交互。
设置清华源加速：
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
若无法访问 HuggingFace，可使用代理或切换至 ModelScope：
git clone -c http.proxy="http://127.0.0.1:1001" https://huggingface.co/THUDM/chatglm2-6b
# 或直接使用魔塔
git clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git
此错误通常出现在 Windows 原生环境，因缺少 Linux 命令。建议在 WSL2 中运行。安装 WSL：
wsl --install
在 WSL 中，Windows 磁盘挂载于 /mnt 目录下，例如 D 盘对应 /mnt/d。
安装 Qwen 模型时报错提示 fast-attention 依赖问题。需确保 CUDA 版本大于 11.7。若本地环境变量未配置，请检查 LD_LIBRARY_PATH 或更新 CUDA 驱动至 12.2 及以上。
若开启全局代理，可能导致服务注册到控制器失败。关闭代理或改为 PAC 模式，并重启 WSL 会话后再次启动项目。
若本地推理速度慢，可修改 configs/server_config.py 中的 load_8bit 参数为 True。这将启用 8bit 量化，降低显存占用并提升计算速度，但可能轻微影响精度。启动日志中会显示 'load_8bit': True 表示成功。
项目主要包含以下模块：
app: 核心应用逻辑，包括 API 接口和 UI 组件。configs: 配置文件，管理模型路径、服务器端口等参数。data: 存储用户上传的文档和向量数据库数据。libs: 依赖库封装，处理文件解析和向量化。该流程确保了回答基于提供的知识库内容，减少幻觉产生。
根据硬件资源选择合适的模型。显存不足时可优先选择 Int4 量化版本，或调用云端 API 替代本地推理。
启用 Embedding 缓存可减少重复计算的开销。对于频繁查询的问题，系统可自动识别并返回缓存结果。
在生产环境中，建议限制并发请求数，防止 GPU 显存溢出。可通过调整 server_config.py 中的并发参数实现。
LangChain-Chatchat 提供了完善的本地知识库搭建方案，适合企业或个人构建私有化 AI 助手。尽管部署过程中可能遇到网络、环境兼容等问题，但通过合理的配置和排查均可解决。未来可进一步探索 Agent 功能、多模态支持及垂直领域微调，以扩展应用场景。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online