Langchain-Chatchat 本地知识库搭建与部署教程

b. 修改服务器配置

打开文件 configs/server_config.py.example。

• 第 9 行设置跨域访问：

OPEN_CROSS_DOMAIN = True

• 在第 17 行下方追加共享设置，以便生成临时访问链接：

"share": True

4. 安装依赖

安装项目所需的 Python 依赖包。这包括核心依赖、API 接口依赖以及 WebUI 界面依赖。

# 安装全部依赖
!pip install -r requirements.txt
!pip install -r requirements_api.txt
!pip install -r requirements_webui.txt

*注意：如果安装过程中出现版本冲突，请根据报错信息手动调整特定包的版本。

5. 下载模型权重

为了运行本地问答，需要下载大语言模型和嵌入模型（Embedding Model）。

下载 LLM 模型

移除旧缓存并克隆 Qwen 模型：

!rm -r Qwen-1_8B-Chat
!git clone https://huggingface.co/Qwen/Qwen-1_8B-Chat

下载 Embedding 模型

下载 BGE 中文大模型用于向量化处理：

!rm -r bge-large-zh
!git clone https://huggingface.co/BAAI/bge-large-zh

*提示：首次下载可能需要一定时间，取决于网络连接速度。

6. 初始化知识库结构

清理默认样本数据，准备上传自己的文档。

# 删除多余的知识库文件
# 删除后自己将文件上传到 /content/Langchain-Chatchat/knowledge_base/samples/content/ 目录即可
!rm -R /content/Langchain-Chatchat/knowledge_base/samples/content/
!mkdir /content/Langchain-Chatchat/knowledge_base/samples/content/

在 Colab 左侧文件栏中，将您的 PDF、TXT、Markdown 等文档上传至上述路径。

7. 内网穿透配置

由于 Google Colab 不提供公网 IP，直接访问服务是不可能的。我们需要使用内网穿透工具 LocalTunnel 来暴露服务端口。

安装 LocalTunnel

!npm install -g localtunnel

获取服务器 IPv4 地址

在访问内网穿透插件提供的地址时，有时需要填入当前的出口 IP 地址以验证身份。

!curl ipv4.icanhazip.com

记下输出的 IP 地址，后续若遇到连接问题可能需要用到。

8. 启动服务

运行启动脚本，指定端口为 8501。

!python ./startup.py -a --port 8501

启动成功后，终端会输出一个 localtunnel 的访问链接（通常以 .ngrok.io 或类似域名结尾）。点击该链接即可在浏览器中访问 Langchain-Chatchat 界面。

常见问题与注意事项

1. 显存不足：如果在运行过程中遇到 OOM（Out Of Memory）错误，说明模型过大或并发过高。建议继续使用小参数模型（如 Qwen-1_8B），并确保没有其他进程占用 GPU。
2. 网络连接：HuggingFace 和 GitHub 的连接在某些网络环境下可能不稳定。如遇超时，可尝试更换镜像源或使用代理。
3. 文件持久化：Colab 是临时环境，重启后所有数据会丢失。如需长期保存知识库，建议在启动前将文档上传至 Google Drive 挂载点，或在每次启动时重新上传。
4. 端口占用：确保 8501 端口未被其他进程占用，如有冲突可修改 --port 参数。

总结

通过以上步骤，您可以在 Google Colab 上快速搭建一个基于 Langchain-Chatchat 的本地知识库问答系统。该系统利用开源模型实现了文档的智能检索与对话，适合个人学习、演示或轻量级应用场景。