GLM-4-9B 及 CodeGeeX4-ALL-9B 支持 Ollama 本地部署

Ollama 默认在本地启动一个 HTTP 服务（端口 11434），允许通过 API 与模型交互。这对于集成到自己的应用程序中非常有用。

Python 请求示例

以下是一个使用 Python requests 库调用 GLM-4 模型的示例代码：

import requests
import json

def chat_with_glm(prompt):
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": "glm4",
        "messages": [
            {"role": "user", "content": prompt}
        ],
        "stream": False
    }
    
    response = requests.post(url, json=payload)
    
    if response.status_code == 200:
        data = response.json()
        return data['message']['content']
    else:
        return f"Error: {response.status_code}"

if __name__ == "__main__":
    user_input = "你好，请介绍一下你自己。"
    reply = chat_with_glm(user_input)
    print(reply)

流式输出示例

如果需要流式输出体验，可以将 stream 参数设置为 true：

response = requests.post(url, json=payload, stream=True)
for line in response.iter_lines():
    if line:
        chunk = json.loads(line)
        if 'message' in chunk and 'content' in chunk['message']:
            print(chunk['message']['content'], end='', flush=True)

常见问题排查

1. 模型拉取失败：检查网络连接，确保能访问 Ollama 官方仓库。如果网络受限，可能需要配置代理。
2. 显存不足：如果运行时报错显存溢出，尝试降低并发数或关闭其他占用 GPU 的程序。对于大模型，建议使用量化版本（如 Q4_K_M）以节省资源。
3. API 连接拒绝：确认 Ollama 服务正在运行 (ollama serve)，且防火墙未阻止 11434 端口。

总结

通过 Ollama，开发者可以非常便捷地在本地部署 GLM-4-9B 和 CodeGeeX4-ALL-9B 模型。这不仅降低了使用门槛，还保障了数据隐私。结合 Python API，可以快速构建基于大模型的本地应用。随着 Ollama 生态的完善，更多模型将陆续支持本地运行，为 AI 开发提供更灵活的选择。