ChatGLM3-6B 本地与云端部署及 API 调用实战指南

4. 使用 WebUI 体验

ChatGLM 提供基于 Streamlit 的 Web 界面，支持聊天、插件调用及代码解释器。

4.1 启动服务

1. 修改 composite_demo/client.py 中的 MODEL_PATH。
2. 安装 Jupyter 内核：ipython kernel install --name chatglm3-6b --user。
3. 修改 composite_demo/demo_ci.py 中的 IPYKERNEL 配置。
4. 启动命令：streamlit run composite_demo/main.py。

云服务器访问：由于 WebSocket 限制，需通过 SSH 隧道映射端口：

sudo ssh -CNg -L 8501:127.0.0.1:8501 root@连接地址 -p 端口号

浏览器访问 http://localhost:8501。

4.2 功能说明

• Chat：基础对话模式。
• Tool：展示插件调用过程。开发者可在 composite_demo/tool_registry.py 中注册新工具，使用 @register_tool 装饰器。
• Code Interpreter：自动执行 Python 代码块，支持错误修正与重试机制。

5. 使用 API 开发应用

通过 OpenAI 兼容接口，可快速构建自定义 AI 应用。

5.1 启动 API 服务

修改 openai_api_demo/api_server.py 中的 MODEL_PATH 及端口（云服务器建议改为 6006）。启动命令：

python openai_api_demo/api_server.py

5.2 调用示例

安装 SDK：pip install --upgrade openai httpx[socks]。

基础聊天：

from openai import OpenAI
client = OpenAI(api_key='not-need-key', base_url="http://127.0.0.1:6006/v1")
stream = client.chat.completions.create(
    messages=[{"role": "system", "content": "你是一名数学老师"}, {"role": "user", "content": "出 10 道计算题"}],
    model='chatglm3-6b',
    max_tokens=1024,
    stream=True
)
for chunk in stream:
    print(chunk.choices[0].delta.content, end='')

函数调用： ChatGLM3-6B 支持 Function Calling，目前响应格式仍沿用 function_call。开发者需定义工具参数，并在收到响应后执行逻辑，再将结果反馈给模型。

6. 常见问题与优化

• 显存不足：建议使用 4bit 或 8bit 量化版本，可显著降低显存占用。
• 推理速度慢：开启 Flash Attention 或更换更高效的后端如 vLLM。
• API 超时：增加 timeout 参数或检查网络带宽。
• 上下文丢失：注意控制 max_tokens 和 history 长度，避免超出模型窗口。

通过上述步骤，您可以成功搭建并运行 ChatGLM3-6B，将其应用于个人助手、数据分析或垂直领域问答系统中。