本地私有化部署 ChatGLM-6B 大模型指南

3.4 安装其他依赖

克隆源码后，安装 requirements.txt 中的包：

pip install -r requirements.txt

4. 模型部署与运行

4.1 获取模型代码

通过 Git 克隆 ChatGLM-6B 的官方仓库：

git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B

4.2 运行脚本

环境配置好后，可以在本地运行 ChatGLM。以下是一个支持命令行交互的示例脚本：

# -*- coding: utf-8 -*-
"""
-------------------------------------------------
   Description：  本地调用 chatGLM，支持命令行交互
-------------------------------------------------
"""
import fire
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
# 使用 GPU 跑 4 位量化模型
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()
model = model.eval()

def infer():
    while True:
        request = input("你好，我是 chatglm-6b >>> ")
        history = []
        while not request:
            print('Prompt should not be empty!')
            request = input("Model prompt >>> ")
        response, _history = model.chat(tokenizer, request, history=history)
        history = _history
        print('\033[1;31m{}\033[0m'.format(request) + '\033[1;33m{}\033[0m'.format(response))
        
if __name__ == '__main__':
    fire.Fire(infer)

运行上述脚本后，即可在终端与 ChatGLM 进行对话。首次运行时会自动下载模型权重文件，请耐心等待。

5. 常见问题与优化

5.1 显存溢出（OOM）问题

如果在运行过程中遇到 CUDA out of memory 错误，可以尝试以下方法：

1. 降低 Batch Size。
2. 使用更低的量化精度（如 INT4 而非 FP16）。
3. 关闭不必要的后台程序以释放显存。
4. 检查是否使用了正确的量化模型路径（如 chatglm-6b-int4）。

5.2 推理速度优化

• 使用半精度（.half()）或整型量化（.int4()）可以显著减少显存占用并提升推理速度。
• 确保 GPU 驱动和 CUDA 版本与 PyTorch 版本兼容。
• 使用多进程加载模型可能带来额外的开销，单进程通常更稳定。

5.3 模型更新

随着技术发展，官方可能会发布新的模型版本或修复补丁。建议定期检查 GitHub 仓库的 Release 页面，更新代码和依赖。

6. 总结

本地部署 ChatGLM-6B 可以让开发者在保护数据隐私的前提下体验大模型的能力。通过合理的硬件配置和环境设置，即使是消费级显卡也能流畅运行。希望本指南能帮助你顺利完成部署，开启大模型探索之旅。