私有化部署清华 ChatGLM2-6B 大模型实践指南

3. Python 环境配置

系统默认 Python 版本可能过低，建议安装 Python 3.11。通过源码编译安装可避免部分依赖冲突：

wget https://www.python.org/ftp/python/3.11.4/Python-3.11.4.tgz
tar -xzf Python-3.11.4.tgz
cd Python-3.11.4
./configure --enable-optimizations
make && make install

设置默认 Python 版本：

alternatives --install /usr/bin/pip pip /usr/local/bin/pip3.11 1
alternatives --set pip /usr/local/bin/pip3.11
/usr/local/bin/python3.11 -m pip install --upgrade pip

安装项目依赖：

pip3.11 install -r requirements.txt

常见问题处理：

• readline 报错: 若遇到 ERROR: Failed building wheel for readline，需安装底层库：

  yum install -y ncurses-devel
  pip3.11 install readline
  

• 中文乱码: 编辑 .vimrc 添加 set encoding=utf-8，或在脚本开头指定编码。

三、模型运行与调试

1. 命令行交互

进入项目根目录，运行 CLI 演示脚本：

python3.11 cli_demo.py

若出现 double free or corruption 错误，通常与内存管理有关，建议检查 CUDA 版本与 PyTorch 是否匹配，或尝试减少并发请求。

2. Web 界面部署

启动 Gradio Web 服务：

python3.11 web_demo.py

默认监听 localhost:7860。若需在公网访问，可开启防火墙端口：

systemctl start firewalld
firewall-cmd --zone=public --add-port=7860/tcp --permanent
firewall-cmd --reload

修改代码中的 share=True 可生成临时公网链接，但出于安全考虑，建议在内网通过 Nginx 反向代理访问。

四、Nginx 反向代理配置

为了通过标准 HTTP 端口（80）访问模型服务，并支持 WebSocket 通信，需配置 Nginx。

1. 安装 Nginx

yum install -y nginx

2. 配置文件编写

创建 /etc/nginx/conf.d/chatglm.conf：

server {
    listen 80;
    server_name localhost;
    location / {
        proxy_pass http://localhost:7860;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_read_timeout 1800;
        proxy_connect_timeout 1800;
        
        # WebSocket 支持配置
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

3. 启动服务

sudo systemctl start nginx
sudo systemctl status nginx

此时可通过内网 IP 直接访问模型页面，无需暴露敏感端口。

五、API 调用与集成

部署完成后，可通过 HTTP 请求与模型交互。以下是一个简单的 Python 调用示例：

import requests

url = "http://<内网 IP>:80/v1/chat/completions"
data = {
    "model": "chatglm2-6b",
    "messages": [
        {"role": "user", "content": "请介绍一下人工智能的发展历史"}
    ],
    "stream": False
}

response = requests.post(url, json=data)
print(response.json())

若使用 Stream 模式，需处理流式响应数据，适合实时对话场景。

六、性能优化与监控

1. 显存优化

若显存不足，可启用量化加载。修改启动参数或代码逻辑，使用 load_in_4bit=True 参数加载模型，可将显存占用降低至 5GB 左右。

2. 资源监控

实时监控 GPU 使用情况：

watch -n 1 nvidia-smi

观察 Memory-Usage 和 Temperature，防止过热降频。

3. 日志管理

建议配置 Nginx 访问日志，便于分析用户请求频率与潜在异常：

access_log /var/log/nginx/chatglm_access.log;
error_log /var/log/nginx/chatglm_error.log;

七、总结

私有化部署 ChatGLM2-6B 能够有效解决大模型应用中的成本与隐私问题。通过合理的硬件选型与环境配置，结合 Nginx 反向代理，可实现稳定可用的本地 AI 服务。后续可根据业务需求进一步探索微调（Fine-tuning）与知识库增强（RAG）技术，以提升模型在特定领域的表现。

附录：常见错误速查表

通过以上步骤，即可完成从基础部署到生产环境接入的全过程。