使用Ollama和Open WebUI部署与管理本地开源大模型

Docker 安装（通用）

如果您更倾向于使用 Docker 容器化部署：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

此命令将创建一个名为 ollama 的容器，并将模型数据持久化到 ollama 卷中，同时暴露 11434 端口供外部访问。

2. 下载并运行模型

Ollama 通过命令行拉取模型。例如，下载并运行 Llama 3 模型：

ollama pull llama3

查看已下载的模型列表：

ollama list

启动模型进行测试（可选）：

ollama run llama3

3. 部署 Open WebUI

Open WebUI 同样推荐使用 Docker Compose 进行部署，因为它需要连接本地的 Ollama 服务。

创建一个新的目录并初始化 docker-compose.yml 文件：

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    environment:
      - "OLLAMA_BASE_URL=http://host.docker.internal:11434"
    volumes:
      - open-webui:/app/backend/data
    restart: unless-stopped

注意：

• OLLAMA_BASE_URL 指向 Ollama 服务的地址。如果在同一台机器上运行，使用 http://host.docker.internal:11434。
• 如果是不同机器，请替换为 Ollama 服务器的 IP 地址。

启动服务：

docker compose up -d

4. 访问界面

部署完成后，打开浏览器访问 http://localhost:3000。首次访问时，系统会提示您注册管理员账号。登录成功后，即可进入主界面。

四、模型管理与配置

1. 连接 Ollama 后端

在 Open WebUI 的设置页面中，您可以选择连接的后端。默认情况下，如果环境变量配置正确，它会自动连接到本地 Ollama。

进入 Settings -> Connections，确认 Ollama API Base URL 是否正确指向了您的 Ollama 实例。

2. 切换模型

在聊天界面的顶部，您可以点击当前模型名称的下拉菜单，选择已加载的其他模型。例如，从 llama3 切换到 mistral。

3. 删除模型

如果您不再需要某个模型，可以使用 Ollama 命令行工具删除以释放磁盘空间：

ollama rm llama2

五、API 集成示例

除了使用 Web 界面，Open WebUI 和 Ollama 都提供了 API 接口，方便开发者集成到自己的应用中。

Python 客户端调用示例

以下是一个使用 Python 调用 Ollama API 的简单示例：

import requests

# Ollama API 地址
BASE_URL = "http://localhost:11434/api/generate"

# 请求参数
payload = {
    "model": "llama3",
    "prompt": "为什么天空是蓝色的？",
    "stream": False
}

# 发送请求
response = requests.post(BASE_URL, json=payload)

# 获取结果
if response.status_code == 200:
    result = response.json()
    print(result["response"])
else:
    print(f"Error: {response.status_code}")

Open WebUI API

Open WebUI 也支持 OpenAI 兼容的 API 格式。您可以在设置中启用 API 访问，然后使用标准的 OpenAI SDK 进行调用。

六、高级功能：本地 RAG

检索增强生成（RAG）允许模型利用本地存储的数据进行回答，这对于企业知识库或个人文档分析非常有用。

1. 上传文档

在 Open WebUI 的聊天界面中，通常有一个附件图标或'上传'按钮。支持的文件格式包括 PDF、TXT、MD 等。

2. 配置向量数据库

Open WebUI 内置了对向量数据库的支持（如 ChromaDB）。在设置中，您可以配置向量存储的路径和参数。

3. 提问

上传文档后，在提问时选择该文档上下文，模型将基于文档内容生成回答，而不是仅依赖预训练知识。

七、常见问题与排查

1. 无法连接 Ollama

• 检查端口：确保 Ollama 的 11434 端口未被防火墙阻挡。
• 检查 URL：确认 OLLAMA_BASE_URL 中的 IP 地址和端口正确。
• 重启服务：尝试重启 Docker 容器。

2. 显存不足

• 减小模型大小：尝试使用量化版本较小的模型（如 llama3:8b-q4_0）。
• 关闭其他应用：确保没有其他程序占用大量 GPU 资源。

3. 响应速度慢

• 硬件加速：确认 Docker 容器已正确挂载 GPU 驱动（NVIDIA Container Toolkit）。
• 网络延迟：如果是远程部署，检查网络带宽。

八、总结

通过结合 Ollama 和 Open WebUI，用户可以构建一个强大、灵活且私有的本地大模型工作流。这不仅保护了数据隐私，还降低了对云服务的依赖。随着开源模型的不断迭代，本地部署方案将成为个人开发者和中小企业的重要基础设施。

建议定期关注 Ollama 和 Open WebUI 的官方更新，以获取最新的模型支持和功能改进。