本文详细介绍了国产大语言模型 ChatGLM3 的本地部署流程。内容涵盖环境配置、源码与模型下载、依赖安装及显存优化方案。重点讲解了如何通过量化技术降低显存占用，以及 Gradio 和 Streamlit 两种 Web 演示模式的启动方法。此外，文章还说明了如何搭建 OpenAI 兼容 API 服务，实现第三方应用集成，并介绍了通过自定义 Tool 扩展模型功能的方法。最后提供了常见 GPU 识别问题排查及 API 参数调优指南，帮助开发者快速构建本地大模型应用。
ChatGLM3 是由智谱 AI 推出的一系列开源大语言模型。本文详细介绍如何在本地环境中搭建 ChatGLM3-6B 模型，配置运行环境，并通过 Web 界面、API 接口及自定义工具进行功能扩展。
使用 Anaconda 管理虚拟环境，确保依赖隔离。
# 创建名为 chatglm3-demo 的 conda 环境
conda create -n chatglm3-demo python=3.11
conda activate chatglm3-demo
从 GitHub 或 ModelScope 克隆项目代码。
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3-main
推荐使用国内镜像源 ModelScope 加速下载。
# 进入模型目录
mkdir -p THUDM/chatglm3-6b
# 使用 git lfs 拉取模型文件
注意：如果显卡显存有限（如 8GB 以下），建议下载 chatglm3-6b 基础版并配合量化使用。
修改 requirements.txt 以指定明确的 PyTorch 版本，避免 CUDA 版本不匹配。
# requirements.txt 示例
torch>=2.0
torchvision==0.15.0
torchaudio==2.0.0
transformers==4.30.0
执行安装命令：
pip install -r requirements.txt
若遇到 mdtex2html 缺失错误，可单独安装：
pip install mdtex2html
默认情况下，模型以 FP16 精度加载，约需 13GB 显存。若显存不足，可使用 4-bit 量化加载。
使用 nvidia-smi 查看 GPU 状态。
在启动脚本中修改模型加载方式：
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()
量化会轻微影响生成质量，但能显著降低显存占用，且经测试 ChatGLM3-6B 在 4-bit 下仍能保持流畅对话。
项目提供了多种 Demo 模式，可根据需求选择。
基于 Gradio 的网页聊天界面。
cd basic_demo
python web_demo.py
启动后浏览器会自动打开或显示访问地址。若出现 JS 错误，建议尝试 Streamlit 版本。
通常更流畅，支持更好的交互体验。
streamlit run web_demo2.py
提供标准 OpenAI 格式的流式 API，便于集成第三方应用。
cd openai_api_demo
python openai_api.py
服务默认监听 localhost:8000。
若启动后发现仅使用 CPU，请检查 PyTorch 是否安装了 CUDA 版本。
import torch
print(torch.cuda.is_available())
print(torch.version.cuda)
若返回 False，需卸载当前 torch 并重新安装带 cu 后缀的版本：
pip uninstall torch torchvision torchaudio
pip install torch==2.0.0+cu118 torchvision==0.15.0+cu118 torchaudio==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu118
确保模型文件位于 THUDM/chatglm3-6b 目录下，并在代码中正确设置 MODEL_PATH，避免重复下载。
在调用模型时，可通过以下参数控制生成效果：
ChatGLM3 支持 Function Calling，允许模型调用外部工具查询实时信息（如天气、数据库等）。
在 tool_registry.py 中定义函数，并注册到模型上下文。
# tool_registry.py 示例
def get_weather(city):
# 实现查询逻辑
return f"{city} 的天气晴朗"
register_tool(get_weather)
重启服务后，模型即可在对话中自动调用该工具。
OpenAI 兼容接口支持 POST 请求至 /v1/chat/completions。
{
"model": "chatglm3-6b",
"messages": [
{"role": "user", "content": "你好"}
],
"stream": false,
"max_tokens": 100
}
返回包含 choices 字段，其中 message.content 为模型生成的文本。若开启 stream=true，则通过 SSE 流式返回数据块，直到 finish_reason 为 stop。
本文涵盖了 ChatGLM3 从环境搭建、显存优化、Demo 运行到 API 集成的完整流程。通过量化技术可在消费级显卡上运行大模型，结合 Function Calling 能力可进一步拓展其在垂直场景的应用。开发者可根据实际需求调整参数量化级别与推理策略。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online