Windows 11 部署 Langchain-Chatchat 本地知识库指南

执行脚本构建向量数据库索引。

python init_database.py --recreate-vs

此步骤会加载文档并建立索引，首次运行时间较长。

启动服务

1. 启动应用

使用以下命令同时启动 API 和 Web UI。

python startup.py -a

启动成功后，终端将显示服务地址。

2. 访问界面

在浏览器中打开 http://127.0.0.1:8501 查看 Web 界面。 API 接口通常运行在 http://127.0.0.1:8000。

GPU 加速配置

1. 检查 CUDA 支持

确认 PyTorch 是否识别到 GPU。

import torch
print(torch.__version__)
print(torch.cuda.is_available())

若返回 False，则需安装 CUDA 支持的 PyTorch 版本。

2. 安装 CUDA Toolkit

目前主流支持 CUDA 11.8 或 12.1。下载并安装对应版本的 CUDA Toolkit。 安装完成后验证版本：

nvcc --version

3. 安装 CUDA 版 PyTorch

通过指定 index-url 安装支持 CUDA 的版本。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

若上述方式无法安装，可下载对应的 .whl 包进行本地安装。 例如 Windows 下 cu121 + py3.10 版本：

pip install g:/AI/torch-2.1.0+cu121-cp310-cp310-win_amd64.whl

再次运行检查脚本，确认 torch.cuda.is_available() 返回 True。

量化模型优化

1. 显存不足问题

若显存较小（如 8GB），运行 6B 参数模型可能报 OOM 错误。此时建议使用量化模型（如 int4）。

2. 下载量化模型

从镜像站下载量化版模型。

git clone https://hf-mirror.com/THUDM/chatglm2-6b-int4

3. 修改配置

编辑 model_config.py，将 LLM_MODEL_PATH 指向量化模型路径。

# 示例配置
MODEL_CONFIG = {
    "llm_model": "chatglm2-6b-int4",
    # ... 其他配置
}

4. 重新启动

python startup.py -a

量化模型推理速度更快，且对显存要求更低，适合消费级显卡。

常见问题排查

1. 依赖冲突

若遇到 ImportError，尝试清理 pip 缓存后重新安装。

pip cache purge
pip install -r requirements.txt --force-reinstall

2. 模型加载失败

检查 config.ini 中的路径是否正确，确保模型文件完整下载。

3. 端口占用

若启动报错端口被占用，可修改 startup.py 中的端口号或在命令行指定端口。

4. 中文乱码

确保终端编码为 UTF-8，或在 Python 脚本开头添加编码声明。

总结

本文介绍了在 Windows 11 环境下部署 Langchain-Chatchat 的完整流程。通过合理配置 Python 环境、CUDA 加速及模型量化策略，用户可以在本地构建高效的 RAG 知识库系统。对于资源受限的设备，量化模型是提升可用性的关键方案。