国产开源大模型 ChatGLM3-6B 部署与使用指南

4. 安装依赖：使用 uv 管理版本以避免兼容性问题。

pip install uv
uv pip install --resolution=lowest-direct -r requirements.txt

5. 下载模型文件：从 AutoDL 模型库下载至 /root/autodl-tmp。

pip install codewithgpu
cg down xxxiu/chatglm3-6b/config.json -t /root/autodl-tmp
cg down xxxiu/chatglm3-6b/configuration_chatglm.py -t /root/autodl-tmp
cg down xxxiu/chatglm3-6b/modeling_chatglm.py -t /root/autodl-tmp
cg down xxxiu/chatglm3-6b/tokenizer.model -t /root/autodl-tmp
# ... 其他分片文件 ...

6. 测试运行：修改 basic_demo/cli_demo.py 中的模型路径，执行 python basic_demo/cli_demo.py。

本地环境安装

需 13G 显存以上的 Nvidia 显卡，以 Windows 系统为例。

1. 环境准备：安装 Anaconda，打开终端。
2. 克隆代码：

cd C:\
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

3. 创建虚拟环境：

conda create -n chatglm3-6b python=3.10.8 
conda activate chatglm3-6b

4. 下载模型：可通过 AutoDL 分享链接或 HuggingFace 镜像下载至 C:\ChatGLM3\THUDM。
5. 测试运行：执行 python basic_demo/cli_demo.py。

若遇到 RuntimeError: 'addmm_impl_cpu_' not implemented for 'Half' 错误，需补充安装 CUDA 包：

conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install chardet

使用 WebUI 体验

ChatGLM 提供 Streamlit 构建的 Web 界面，支持聊天、插件调用及代码解释器。

启动 WebUI 服务

1. 修改模型路径：编辑 composite_demo/client.py 设置 MODEL_PATH。
2. 安装 Jupyter 内核：

ipython kernel install --name chatglm3-6b --user

3. 配置内核：修改 composite_demo/demo_ci.py 中的 IPYKERNEL 值。
4. 启动服务：

streamlit run composite_demo/main.py

若在云端部署，需通过 SSH 隧道映射端口：

sudo ssh -CNg -L 8501:127.0.0.1:8501 root@connect.westb.seetacloud.com -p 12357

功能说明

• Chat：基础对话。
• Tool：插件调用，如天气查询。需在 composite_demo/tool_registry.py 中注册工具。

@register_tool
def get_weather(
    city_name: Annotated[str, 'The name of the city to be queried', True],
) -> str:
    """
    Get the weather for `city_name` in the following week
    """
    ...

• Code Interpreter：自动执行 Python 代码，支持错误修正。

使用 API 开发应用

API 服务遵循 OpenAI 接口规范，便于集成。

启动 API 服务

修改 openai_api_demo/api_server.py 中的 MODEL_PATH。若部署在云端，需将端口改为 6006 并通过自定义服务暴露外网。

调用 API 服务

安装 SDK：

pip install --upgrade openai httpx[socks]

简单聊天示例：

from openai import OpenAI

client = OpenAI(api_key='not-need-key',base_url="http://127.0.0.1:6006/v1")
stream = client.chat.completions.create(
    messages=[{
        "role": "system", "content": "你是一名数学老师，从事小学数学教育 30 年，精通设计各种数学考试题"
    },{
        "role": "user", "content": "请给我出 10 道一年级的计算题。"
    }],
    model='chatglm3-6b',
    max_tokens=1024,
    top_p=0.3,
    response_format={ "type": "json_object" },
    stream=True
)

for chunk in stream:
    msg = chunk.choices[0].delta.content
    if msg is not None:
        print(msg, end='')

插件调用示例：

from openai import OpenAI
import json
import requests

def get_city_weather(param):
    city = json.loads(param)["city"]
    r = requests.get(f"https://wttr.in/{city}?format=j1")
    data = r.json()["current_condition"]
    temperature = data[0]['temp_C']
    humidity= data[0]['humidity']
    text = data[0]['weatherDesc'][0]["value"]
    return "当前天气："+text+"，温度："+temperature+ "℃，湿度："+humidity+"%"

weather_tool = {
    "type": "function",
    "function": {
        "name": "get_city_weather",
        "description": "获取某个城市的天气",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {
                    "type": "string",
                    "description": "城市名称",
                },
            },
            "required": ["city"],
        },
    }
}

client = OpenAI(api_key='no-need-key', base_url="http://127.0.0.1:6006/v1")
messages=[]
questions = ["请问上海天气怎么样？","请问广州天气怎么样？"]

for question in questions:
    messages.append({"role": "user", "content": question})
    response_message = client.chat.completions.create(
        messages=messages,
        model='chatglm3-6b',
        stream=False,
        tool_choice="auto",
        tools=[weather_tool]
    ).choices[0].message
    messages.append(response_message)
    
    if response_message.function_call is not None:
        function_call = response_message.function_call
        weather_info = get_city_weather(function_call.arguments)
        messages.append({
            "role": "function",
            "content": weather_info,
            "name": function_call.name
        })
        second_completion = client.chat.completions.create(messages=messages, model='chatglm3-6b')
        print(second_completion.choices[0].message.content)

部署优化建议

为了提升部署效率与资源利用率，建议关注以下优化点：

1. 量化部署：对于显存受限的机器，可使用 INT4 或 INT8 量化模型。这能显著降低显存占用，使 6B 模型在 8G 显存卡上也能运行，但推理速度可能略有下降。
2. 并发控制：在 API 服务中，根据服务器负载调整 max_batch_size 和 max_total_tokens 参数，避免 OOM（内存溢出）错误。
3. 缓存机制：对于重复性高的请求，可在应用层增加缓存逻辑，减少模型重复推理的计算开销。
4. 监控告警：部署 Prometheus + Grafana 监控 GPU 利用率与显存使用情况，及时发现异常进程。

通过以上步骤，即可完成 ChatGLM3-6B 的完整部署与基础应用开发。