本文详细介绍了国产大语言模型 ChatGLM3 的本地化部署全流程。涵盖源码获取、Conda 环境配置、PyTorch 依赖安装及 CUDA 版本匹配。重点讲解了显存优化方案，包括 FP16 与 4-bit 量化的区别与应用场景。提供了基于 Gradio 和 Streamlit 的 Web Demo 启动方法，并针对 GPU 识别失败等常见问题给出排查步骤。此外，还阐述了 OpenAI 兼容 API 的搭建方式及自定义工具扩展（Function Calling）的实现逻辑，帮助用户在本地高效运行并集成 ChatGLM3 应用。
ChatGLM3-6B 是由智谱 AI 推出的开源大语言模型，支持多轮对话、文本生成及工具调用等功能。本文详细介绍如何在本地环境搭建 ChatGLM3，包括源码下载、依赖安装、显存优化、Web Demo 启动以及 OpenAI 兼容 API 服务的部署。
建议配备 NVIDIA 显卡，显存至少 8GB（推荐 12GB 以上）。若显存小于 8GB，建议使用量化版本（4-bit）运行。
通过 ModelScope 或 GitHub 下载 ChatGLM3 源码。
git clone https://gitee.com/mirrors/ChatGLM3.git
ModelScope 是国内镜像，下载速度通常较快。
推荐使用 Python 3.10 或更高版本。新建虚拟环境并激活：
conda create -n chatglm3-demo python=3.11
conda activate chatglm3-demo
进入项目目录，修改 requirements.txt 以指定明确的 PyTorch 版本，确保 CUDA 版本匹配本机驱动。
cd ChatGLM3-main
pip install -r requirements.txt
注意：如果默认依赖未指定 torch 版本，建议手动指定为 torch==2.1.0 或根据 CUDA 版本选择对应 wheel 包。
默认情况下，模型以 FP16 精度加载，约需 13GB 显存。
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).half().cuda()
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
对于显存受限的 GPU，可使用 4-bit 量化加载模型，显著降低显存占用且保持流畅生成。
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()
量化后模型路径需调整至 THUDM/chatglm3-6b 相对目录下，避免重复下载。
项目提供了基于 Gradio 和 Streamlit 的网页版交互界面。
python web_demo.py
启动后浏览器访问输出地址即可。若遇到 mdtex2html 模块缺失错误，请执行：
pip install mdtex2html
Streamlit 版本通常更流畅。
streamlit run web_demo2.py
部分代码可能需要微调以适配本地模型路径和量化设置。
若启动后发现使用 CPU 推理，速度慢且显存占用异常，通常是 PyTorch 安装了 CPU 版本。
nvidia-smiimport torch
print(torch.cuda.is_available())
print(torch.__version__)
若安装过程中出现依赖冲突，可尝试清理 pip 缓存或使用国内镜像源：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
ChatGLM3 支持 OpenAI 格式的流式 API 部署，可作为其他应用的后端。
cd openai_api_demo
python openai_api.py
需修改配置文件中的模型路径和量化参数。
{
"model": "chatglm3-6b",
"messages": [
{"role": "system", "content": "You are ChatGLM3."},
{"role": "user", "content": "你好，给我讲一个故事"}
],
"stream": false,
"max_tokens": 100,
"temperature": 0.8
}
返回结果包含 choices 列表，其中 message.content 为生成内容。
ChatGLM3 支持 Function Calling，允许模型调用外部工具查询实时信息（如天气、API 数据）。
在 tool_registry.py 中定义函数，描述其功能和参数。
def get_weather(city: str) -> str:
# 实现查询逻辑
return f"{city}的天气晴朗"
在启动脚本中传入工具列表，模型将自动判断是否调用工具。
本地部署 ChatGLM3 能够保障数据隐私并降低 API 调用成本。通过量化技术可在消费级显卡上运行，结合 Streamlit 或 API 接口可快速构建个性化应用。建议根据实际硬件配置选择合适的精度模式，并注意 PyTorch 与 CUDA 版本的兼容性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online