本地 CPU 环境部署 ChatGLM-6B 大模型与量化技术实践

或者直接使用 transformers 库自动下载（需联网）：

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)

第 4 步：修改启动代码

默认的 web_demo.py 是针对 GPU 优化的，需要修改为适配 CPU 和量化内核。

打开 web_demo.py 文件，找到模型加载部分，进行如下修改：

原 GPU 代码：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

修改为 CPU 代码：

import torch
from transformers import AutoModel, AutoTokenizer

# 加载 INT4 量化模型
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).float()

# 强制在 CPU 上运行
model = model.cpu()
model.eval()

第 5 步：编译量化内核

如果直接运行出现错误，提示找不到 .so 或 .dll 文件，说明量化内核未编译。需要手动编译 C++ 源文件。

在项目根目录下找到 quantization_kernels.c 和 quantization_kernels_parallel.c。

Linux/macOS 编译命令：

gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels.c -shared -o quantization_kernels.so
gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels_parallel.c -shared -o quantization_kernels_parallel.so

Windows 编译命令（MinGW）：

gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels.c -shared -o quantization_kernels.dll
gcc -fPIC -pthread -fopenmp -std=c99 quantization_kernels_parallel.c -shared -o quantization_kernels_parallel.dll

编译成功后，会在目录下生成对应的动态链接库文件。如果 Python 代码中未自动加载，可手动指定路径：

model = model.quantize(bits=4, kernel_file="./quantization_kernels.so") # Linux
# model = model.quantize(bits=4, kernel_file="./quantization_kernels.dll") # Windows

第 6 步：运行 Web 演示

完成上述步骤后，运行主程序启动本地服务。

python web_demo.py

终端输出类似 Running on local URL: http://127.0.0.1:7860 即表示服务启动成功。在浏览器中打开该地址即可开始对话。

性能测试与评估

推理速度

在 CPU 环境下，INT4 量化模型的推理速度明显快于 FP16 全精度模型。具体速度取决于 CPU 核心数和单核性能。一般现代 i5/i7 处理器每秒可生成 10-30 个 token。

效果对比

ChatGLM-6B 在中文语境下的表现优于许多同量级的英文模型。虽然其逻辑推理和代码生成能力略逊于 GPT-4 等顶级模型，但在日常问答、文本摘要、简单任务规划方面已达到较高水平，能够满足大部分个人辅助需求。

常见问题排查

1. 内存不足：如果运行时报错 OOM，尝试关闭其他占用内存的程序，或增加虚拟内存。
2. 编译报错：检查是否安装了 OpenMP 库，以及 GCC 版本是否过旧。
3. 模型加载慢：首次加载模型需要从硬盘读取到内存，请耐心等待；后续会话速度会加快。

优化建议

• 多进程推理：对于高并发场景，可考虑使用 FastAPI 封装接口，配合多线程处理请求。
• 模型裁剪：如果仅需特定领域能力，可尝试对模型进行微调或剪枝。
• 混合精度：根据硬件情况，尝试 FP16 或 BF16 模式以获得更好的精度平衡。

结语

通过在本地 CPU 环境部署 ChatGLM-6B 量化模型，开发者可以低成本地体验大语言模型的能力，无需依赖昂贵的云端 API 或高端显卡。这不仅有助于学习大模型部署流程，也为隐私敏感型应用提供了可行的本地化解决方案。随着硬件算力的提升和量化技术的进步，未来本地运行更大参数的模型将成为常态。