PythonAI算法
私有化部署清华 ChatGLM2-6B 大模型实践指南
本文详细介绍了在 Linux 环境下私有化部署清华开源大语言模型 ChatGLM2-6B 的完整流程。内容涵盖硬件与软件环境准备、Git 与 Python 依赖配置、模型权重下载、CLI 与 Web Demo 运行、Nginx 反向代理及 WebSocket 支持配置，以及 API 调用示例与性能监控方法。文章重点解决了显存不足、网络代理、端口转发等常见问题，旨在帮助开发者低成本构建安全可控的本地大模型服务。
本文详细介绍了在 Linux 环境下私有化部署清华开源大语言模型 ChatGLM2-6B 的完整流程。内容涵盖硬件与软件环境准备、Git 与 Python 依赖配置、模型权重下载、CLI 与 Web Demo 运行、Nginx 反向代理及 WebSocket 支持配置，以及 API 调用示例与性能监控方法。文章重点解决了显存不足、网络代理、端口转发等常见问题，旨在帮助开发者低成本构建安全可控的本地大模型服务。
随着大语言模型技术的快速发展，商业 API 的成本逐渐成为企业应用的瓶颈。OpenAI 等闭源模型的调用费用较高，且存在数据隐私泄露风险。ChatGLM2-6B 作为清华大学开源的轻量级大语言模型，在保持较好效果的同时支持私有化部署，能够显著降低 Token 成本并保障数据安全。
本文基于 CentOS 8 环境，详细记录从硬件准备、环境配置到服务部署的全流程，并提供常见问题排查方案。
ChatGLM2-6B 对显存有一定要求。官方推荐至少 16GB 显存以运行 FP16 精度版本。若使用量化版本（如 INT4），8GB 显存亦可运行。
可通过以下命令检查 GPU 信息：
lspci | grep -i nvidia
输出示例应包含类似 Tesla V100 SXM2 32GB 的信息。
服务器端若未安装 Git，可使用镜像加速安装：
yum install -y git
克隆项目前需配置 GitHub SSH Key。本地生成密钥：
ssh-keygen -t rsa -C "[email protected]"
将生成的公钥内容添加到 GitHub 账户的 SSH Keys 设置中，随后测试连接：
ssh -T [email protected]
克隆官方仓库：
git clone [email protected]:THUDM/ChatGLM-6B.git
cd ChatGLM-6B
下载模型权重文件至 THUDM 目录下。由于 HuggingFace 访问限制，建议使用国内镜像或代理。若使用 Git LFS 下载大文件，需先安装：
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
sudo yum install -y git-lfs
git lfs install
验证安装后，执行克隆：
git clone https://huggingface.co/THUDM/chatglm2-6b
注意：若网络不稳定，建议先在本地下载好模型文件，再通过 scp 传输至服务器指定目录。
系统默认 Python 版本可能过低，建议安装 Python 3.11。通过源码编译安装可避免部分依赖冲突：
wget https://www.python.org/ftp/python/3.11.4/Python-3.11.4.tgz
tar -xzf Python-3.11.4.tgz
cd Python-3.11.4
./configure --enable-optimizations
make && make install
设置默认 Python 版本：
alternatives --install /usr/bin/pip pip /usr/local/bin/pip3.11 1
alternatives --set pip /usr/local/bin/pip3.11
/usr/local/bin/python3.11 -m pip install --upgrade pip
安装项目依赖：
pip3.11 install -r requirements.txt
常见问题处理：
ERROR: Failed building wheel for readline，需安装底层库：
yum install -y ncurses-devel
pip3.11 install readline
.vimrc 添加 set encoding=utf-8，或在脚本开头指定编码。进入项目根目录，运行 CLI 演示脚本：
python3.11 cli_demo.py
若出现 double free or corruption 错误，通常与内存管理有关，建议检查 CUDA 版本与 PyTorch 是否匹配，或尝试减少并发请求。
启动 Gradio Web 服务：
python3.11 web_demo.py
默认监听 localhost:7860。若需在公网访问，可开启防火墙端口：
systemctl start firewalld
firewall-cmd --zone=public --add-port=7860/tcp --permanent
firewall-cmd --reload
修改代码中的 share=True 可生成临时公网链接，但出于安全考虑，建议在内网通过 Nginx 反向代理访问。
为了通过标准 HTTP 端口（80）访问模型服务，并支持 WebSocket 通信，需配置 Nginx。
yum install -y nginx
创建 /etc/nginx/conf.d/chatglm.conf：
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://localhost:7860;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_read_timeout 1800;
proxy_connect_timeout 1800;
# WebSocket 支持配置
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
}
sudo systemctl start nginx
sudo systemctl status nginx
此时可通过内网 IP 直接访问模型页面，无需暴露敏感端口。
部署完成后，可通过 HTTP 请求与模型交互。以下是一个简单的 Python 调用示例：
import requests
url = "http://<内网 IP>:80/v1/chat/completions"
data = {
"model": "chatglm2-6b",
"messages": [
{"role": "user", "content": "请介绍一下人工智能的发展历史"}
],
"stream": False
}
response = requests.post(url, json=data)
print(response.json())
若使用 Stream 模式，需处理流式响应数据，适合实时对话场景。
若显存不足，可启用量化加载。修改启动参数或代码逻辑，使用 load_in_4bit=True 参数加载模型，可将显存占用降低至 5GB 左右。
实时监控 GPU 使用情况：
watch -n 1 nvidia-smi
观察 Memory-Usage 和 Temperature，防止过热降频。
建议配置 Nginx 访问日志，便于分析用户请求频率与潜在异常：
access_log /var/log/nginx/chatglm_access.log;
error_log /var/log/nginx/chatglm_error.log;
私有化部署 ChatGLM2-6B 能够有效解决大模型应用中的成本与隐私问题。通过合理的硬件选型与环境配置，结合 Nginx 反向代理，可实现稳定可用的本地 AI 服务。后续可根据业务需求进一步探索微调（Fine-tuning）与知识库增强（RAG）技术，以提升模型在特定领域的表现。
附录：常见错误速查表
| 错误现象 | 可能原因 | 解决方案 |
|---|---|---|
| OOM (Out of Memory) | 显存不足 | 使用量化版本或减小 batch_size |
| Connection Refused | 端口未开放 | 检查防火墙与 Nginx 配置 |
| WebSocket Error | 协议不匹配 | 确保 Nginx 配置了 Upgrade 头 |
| Model Load Fail | 路径错误 | 确认 weights 目录结构正确 |
通过以上步骤，即可完成从基础部署到生产环境接入的全过程。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online