Ollama 本地部署大语言模型使用指南

多轮对话

Ollama 支持上下文记忆，可以在同一会话中进行多轮提问。

图形界面 (Open WebUI)

虽然命令行足够强大，但图形界面能提供更好的体验。Open WebUI 是一个流行的开源 UI 项目，支持连接本地 Ollama 实例。

Docker 部署

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

部署完成后，访问 http://localhost:3000 即可使用。该界面支持切换已安装的本地模型、管理对话历史以及配置系统提示词。

API 调用示例

Ollama 提供了 RESTful API，方便开发者集成到自己的应用中。

cURL 请求

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？"
}'

Python 调用

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3',
        'prompt': '解释一下量子力学的基本概念',
        'stream': False
    }
)
print(response.json()['response'])

模型管理命令

除了运行模型，Ollama 还提供了丰富的管理命令。

• 列出已下载模型：ollama list
• 删除模型：ollama rm <model_name>
• 复制模型：ollama cp <source> <destination>
• 显示模型详情：ollama show <model_name>
• 启动服务器：ollama serve (通常自动启动)

硬件要求与优化

本地运行大模型对硬件有一定要求，特别是显存和内存。

1. GPU 加速：Ollama 支持 CUDA (NVIDIA)、Metal (Apple Silicon) 和 Vulkan。确保显卡驱动已正确安装。
2. 量化版本：如果硬件资源有限，建议选择量化版本（如 Q4_K_M），它们在保持较好效果的同时显著减少资源占用。
3. 环境变量：可通过设置 OLLAMA_NUM_PARALLEL 调整并发请求数，或通过 OLLAMA_MAX_LOADED_MODELS 限制同时加载的模型数量。

总结

Ollama 为开发者提供了一个便捷的本地大模型运行环境。相比云端 API，其优势在于数据隐私安全、无网络依赖以及零成本使用。虽然目前本地模型在推理速度和复杂任务处理能力上与顶级云端模型仍有差距，但随着硬件性能提升和模型轻量化技术的发展，本地部署将成为企业和个人用户的重要选择。通过结合 Open WebUI 和 API 接口，用户可以快速构建个性化的 AI 助手应用。