近期，IT 界掀起了大模型的热潮。作为技术实践者，尝试在开源大模型 ChatGLM 上部署本地服务是一个重要的学习路径。本文记录基于腾讯云 GPU 云服务器快速部署 ChatGLM-6B 的完整流程。
服务器配置
成功申请到一台 GPU 云服务器，具体配置如下：
环境配置
下载项目仓库
root@VM-0-17-ubuntu:~# git clone https://github.com/THUDM/ChatGLM-6B
root@VM-0-17-ubuntu:~# cd ChatGLM-6B/
构建 Conda 环境
root@VM-0-17-ubuntu:~# conda create --name chatglm python=3.8
root@VM-0-17-ubuntu:~# conda activate chatglm
安装依赖
在 conda 虚拟环境下，下载 ChatGLM 所需的依赖文件。此过程耗时较长，请保持网络稳定：
root@VM-0-17-ubuntu:~# pip install -r requirements.txt
注意：中间安装过程可能遇到各种异常（如依赖冲突、编译错误等），需根据报错日志逐一排查解决。
数据模型准备
安装 Git LFS
由于模型文件较大，需要使用 Git LFS 进行版本管理：
root@VM-0-17-ubuntu:~# apt-get install git-lfs
root@VM-0-17-ubuntu:~# git lfs install
下载模型文件
从官方仓库下载模型文件，并放置于工程目录下的 THUDM 文件夹中：
root@VM-0-17-ubuntu:~# cd ChatGLM-6B && mkdir THUDM
root@VM-0-17-ubuntu:THUDM# git lfs clone https://huggingface.co/THUDM/chatglm-6b
模型文件约 25GB，下载时间取决于网络带宽。下载完成后目录结构如下：
测试运行
终端运行 Demo
进入 ChatGLM-6B 工程根目录，执行命令行演示脚本：
