离线部署 ChatGLM3 大模型实现本地 AI 聊天

2. 安装综合演示环境

为了运行包含工具调用和代码解释器的综合案例 (composite_demo)，需额外安装依赖。

pip install -r composite_demo/requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

演示中使用 Code Interpreter 还需要安装 Jupyter 内核：

pip install ipykernel -i https://mirror.sjtu.edu.cn/pypi/web/simple
ipython kernel install --name chatglm3 --user

3. 修改配置文件

找到 composite_demo/client.py 文件，修改模型加载路径为本地实际路径。

# 示例配置
model_path = "/path/to/local/chatglm3-6b"

确保路径指向正确的模型权重目录。

启动服务

执行 Streamlit 命令启动 Web 服务。

streamlit run main.py

正常情况下，控制台会输出服务地址信息，浏览器打开该地址即可进入交互界面。

功能演示

启动后，左侧可调整参数细节，右侧可选择不同的使用模式。

1. 对话模式

输入自然语言问题，模型会自动回复。ChatGLM3 对中文支持度很高，响应速度较快。

2. 工具模式

支持自定义工具调用。例如查询天气，需在 tool_registry.py 中定义工具函数。

@register_tool
def get_weather(city_name: Annotated[str, 'The name of the city to be queried', True]) -> str:
    """
    Get the current weather for `city_name`
    """
    if not isinstance(city_name, str):
        raise TypeError("City name must be a string")
    # ... 具体实现逻辑 ...
    return str(ret)

3. 代码解释器模式

允许模型生成并执行代码片段。若遇到执行异常，请检查 Jupyter 内核是否正确注册以及权限设置。

常见问题与优化

1. 配置错误导致的异常

如果未修改 client.py 中的模型路径，程序可能无法加载模型。此外，如果网络环境较差，自动下载依赖可能会失败，建议手动安装所有 pip 依赖。

2. 显存不足

如果运行时报错 OOM (Out Of Memory)，可以尝试开启量化推理（如 INT4），或在配置文件中减少并发请求数。

3. 网络问题

首次运行可能需要拉取部分动态库，建议保持网络通畅或使用内网镜像源。

总结

通过上述步骤，即可完成 ChatGLM3-6B 的本地离线部署。该方案数据完全私有化，适合对隐私敏感的场景。相比在线 API，本地部署虽然初期配置稍繁琐，但长期来看成本可控且灵活度高。后续可通过 Web API 方式自行开发前端界面，进一步扩展应用场景。