清华大学与智谱 AI 推出的 GLM-4-9B 开源大模型的本地部署流程。通过 Git 下载模型权重，配置 Python 环境并运行官方示例脚本实现对话功能。文中对比了其与 Llama-3-8B 的性能差异，指出 GLM-4-9B 在通用能力上表现优异但本地推理速度较慢。适合希望了解大模型落地应用的开发者参考。
GLM-4-9B 是清华大学和智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能，其通用能力评测结果甚至超越了 Llama-3-8B 开源大模型，多模态版本也与 GPT-4 版本齐平。
除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。GLM-4 模型增加了多语言支持，支持包括日语、韩语、德语在内的 26 种语言。GLM-4-9B 还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。
在开始部署之前，请确保您的开发环境满足以下基本要求：
pip install torch transformers accelerate tiktoken sentencepiece
由于模型参数文件较大，无法直接通过 Git 拉取完整权重，需配合 git-lfs 工具使用。官方模型托管于 ModelScope 平台。
brew install git-lfs
# 初始化 git lfs
git lfs install
# 克隆模型仓库
git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat-1m.git GLM-4-9B-Chat-1M
总共有 10 个模型参数文件，平均每个文件 1.8GB 大小，总计 18GB 左右。在下载过程中若出现中断，可尝试重新执行 git lfs pull 命令继续下载。
GLM-4 的官方 GitHub 代码库提供了丰富的使用样例和微调脚本。我们需要获取并调整这些代码以适应本地路径。
git clone https://github.com/THUDM/GLM-4.git
cd GLM-4
打开代码库中的 basic_demo/trans_cli_demo.py 文件，修改第 18 行的模型路径 MODEL_PATH 参数，指向刚才下载的本地路径。
# 修改前
# MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/glm-4-9b-chat')
# 修改后
MODEL_PATH = os.environ.get('MODEL_PATH', '/path/to/local/GLM-4-9B-Chat-1M')
确保已安装必要的 Python 工具包：
pip install tiktoken accelerate
启动大模型客户端：
python trans_cli_demo.py
预期输出示例：
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Loading checkpoint shards: 100%|██████████████████████████████████████████████| 10/10 [00:09<00:00, 1.04it/s]
WARNING:root:Some parameters are on the meta device device because they were offloaded to the disk.
Welcome to the GLM-4-9B CLI chat. Type your messages below.
You: 介绍一下你自己。
GLM-4:
我是一个人工智能助手，我的名字是 ChatGLM，是基于清华大学 KEG 实验室和智谱 AI 公司...
根据官方评测报告，GLM-4-9B 在对话、多模态等方面表现强劲。但在本地部署验证中，需注意以下性能特征：
offloaded to the disk）。本文介绍了 GLM-4-9B 大模型的本地部署和使用方法。虽然该模型在通用能力和多模态方面表现优异，但本地运行对硬件资源有一定要求。对于希望深入探索大模型技术的开发者，掌握其部署流程是理解模型原理和应用落地的关键一步。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online