近期,IT 界掀起了大模型的热潮。作为技术实践者,尝试在开源大模型 ChatGLM 上部署本地服务是一个重要的学习路径。本文记录基于腾讯云 GPU 云服务器快速部署 ChatGLM-6B 的完整流程。
服务器配置
成功申请到一台 GPU 云服务器,具体配置如下:


环境配置
下载项目仓库
root@VM-0-17-ubuntu:~# git clone https://github.com/THUDM/ChatGLM-6B
root@VM-0-17-ubuntu:~# cd ChatGLM-6B/
构建 Conda 环境
root@VM-0-17-ubuntu:~# conda create --name chatglm python=3.8
root@VM-0-17-ubuntu:~# conda activate chatglm
安装依赖
在 conda 虚拟环境下,下载 ChatGLM 所需的依赖文件。此过程耗时较长,请保持网络稳定:
root@VM-0-17-ubuntu:~# pip install -r requirements.txt
注意:中间安装过程可能遇到各种异常(如依赖冲突、编译错误等),需根据报错日志逐一排查解决。
数据模型准备
安装 Git LFS
由于模型文件较大,需要使用 Git LFS 进行版本管理:
root@VM-0-17-ubuntu:~# apt-get install git-lfs
root@VM-0-17-ubuntu:~# git lfs install
下载模型文件
从官方仓库下载模型文件,并放置于工程目录下的 THUDM 文件夹中:
root@VM-0-17-ubuntu:~# cd ChatGLM-6B && mkdir THUDM
root@VM-0-17-ubuntu:THUDM# git lfs clone https://huggingface.co/THUDM/chatglm-6b
模型文件约 25GB,下载时间取决于网络带宽。下载完成后目录结构如下:

测试运行
终端运行 Demo
进入 ChatGLM-6B 工程根目录,执行命令行演示脚本:




