引言
ChatGLM-6B 是清华大学知识工程和数据挖掘小组发布的开源对话机器人。6B 表示该模型拥有约 60 亿参数。ChatGLM-6B-int4 是针对原模型进行 INT4 量化的优化版本，占用资源更少，适合在个人电脑上进行部署测试和使用。
大模型的部署通常需要 GPU 资源，而许多个人电脑运行 Windows 操作系统且没有独立显卡。在这种情况下，可以通过 CPU 配合特定编译环境来运行量化后的模型。本文将详细介绍如何在 Windows PC 上从零开始部署 ChatGLM-6B-int4 量化模型。
环境准备
部署 ChatGLM-6B-int4 量化模型需要提供 Python 运行环境、安装 Git 版本管理工具以及 TDM-GCC 软件（用于提供 C 代码编译环境）。
1. 安装 Anaconda
Anaconda 是一个便捷的包管理和环境管理发行版，包含 conda、Python 及超过 180 个科学计算包。
下载安装 访问 Anaconda 官方下载页面，下载 Windows 版本安装包。运行安装程序，一路点击【Next】即可完成安装。
配置环境变量 在系统环境变量 Path 中添加以下路径（请根据实际安装目录修改）：
E:\Anaconda
E:\Anaconda\Scripts
E:\Anaconda\Library\mingw-w64\bin
E:\Anaconda\Library\usr\bin
E:\Anaconda\Library\bin
修改 pip 镜像源 为加速依赖下载，可配置国内镜像源：
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
2. 安装 Git
下载并安装 Git for Windows，安装完成后打开命令行输入 git version 确认安装成功。
3. 安装 TDM-GCC
TDM-GCC 提供必要的 C/C++ 编译器支持。下载对应版本的安装包，安装时注意勾选添加到系统环境变量选项，或手动添加至 Path。
模型部署
1. 下载模型源码并安装依赖
在工作目录下打开命令提示符，执行以下步骤：
（1）克隆官方仓库：
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B
（2）创建 Conda 虚拟环境并指定 Python 版本：
conda create -n chatglm_env python=3.10
conda activate chatglm_env
（3）安装依赖包：
pip install -r requirements.txt
注意：依赖包的版本需与项目要求一致，否则可能引发兼容性问题。
2. 下载量化模型
ChatGLM-6B-int4 量化模型托管于 Hugging Face，可通过以下方式获取：
（1）Git LFS 下载方式：
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b-int4
将克隆的文件夹放入 chatglm-6b 目录下。
