本地电脑使用 Ollama 部署大模型及 Chatbox 界面指南

示例：查看已安装的模型列表

ollama list

五、API 集成开发

Ollama 默认启动后会在本地提供 HTTP API 服务（端口 11434）。开发者可以通过代码调用。

Python 调用示例

import requests
import json

def chat_with_ollama(prompt):
    url = "http://localhost:11434/api/generate"
    data = {
        "model": "qwen:7b",
        "prompt": prompt,
        "stream": False
    }
    response = requests.post(url, json=data)
    return response.json()['response']

if __name__ == "__main__":
    result = chat_with_ollama("你好，请介绍一下你自己")
    print(result)

此方式便于将本地大模型集成到自定义应用中。

六、图形界面 Chatbox

如果习惯使用图形界面，Chatbox 是一个优秀的第三方客户端。

1. 下载安装

下载 Chatbox 的 Windows 版 exe 文件并安装。

2. 配置连接

首次运行点击设置，在连接选项中选择 "Ollama"。

3. 选择模型

在模型下拉框中选择通过 ollama run 安装的模型，保存后即可开始对话。

更多高级功能可在左侧探索面板中使用。

七、常见问题排查

1. 模型加载慢：检查磁盘 IO 速度，或尝试更换 SSD。
2. 显存不足：降低模型参数（如从 14b 降至 7b），或使用 CPU 模式（速度较慢）。
3. 无法连接 API：确认 Ollama 服务是否后台运行，检查防火墙设置。

八、总结

通过 Ollama 部署本地大模型，可以实现数据隐私保护与离线使用。结合 Chatbox 图形界面或 API 开发，能够灵活满足不同场景下的 AI 应用需求。