本地部署 Ollama 大模型与 Open WebUI 离线使用指南

在本地电脑部署开源大模型无需联网即可使用 AI，且数据完全私有。本文介绍如何使用 Ollama 工具在 Mac、Windows 及 Linux 系统上安装并运行 Llama 等模型，结合 Open WebUI 构建类 ChatGPT 的网页界面。

一、环境准备

Ollama 支持多种操作系统，包括 macOS、Linux 和 Windows。对于硬件要求，建议至少拥有 8GB 内存以运行基础模型（如 Llama2），若需运行更大参数量的模型，建议配备独立显卡或增加至 16GB 以上内存。

1. 下载 Ollama

访问 Ollama 官方 GitHub 仓库下载对应系统的安装包： https://github.com/ollama/ollama

macOS: 下载 .dmg 文件并拖拽安装。
Windows: 下载 .exe 安装程序。
Linux: 使用终端命令 curl -fsSL https://ollama.com/install.sh | sh

Ollama Download Page

2. 安装与启动

安装完成后，打开命令行或终端窗口，输入以下命令一键启动默认模型（如 Llama2）：

ollama run llama2

首次运行时会自动下载模型权重，根据网络情况可能需要几分钟。下载完成后，即可在终端进行对话。

Terminal Run Command

二、运行与管理模型

1. 常用命令

列出已下载的模型：
```
ollama list
```
拉取新模型：
```
ollama pull llama2
ollama pull gemma
```
删除模型：
```
ollama rm llama2
```

2. 多模型切换

用户可以根据需求切换不同的模型进行对话，例如 Gemma 或其他开源模型。Ollama 支持丰富的模型库，涵盖代码生成、文本摘要等多种场景。

Model Running Interface

三、部署 Open WebUI 网页界面

虽然命令行可用，但为了获得更好的交互体验，可以部署 Open WebUI 作为图形化界面。它提供了类似 ChatGPT 的聊天窗口，支持历史对话管理。

1. Docker 部署

确保系统已安装 Docker，然后执行以下命令启动服务：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该命令将容器映射到本地 3000 端口，并持久化存储数据。

2. 访问界面

启动成功后，在浏览器中访问： http://localhost:3000

首次进入需要注册账号，之后即可通过网页与大模型进行交互。由于是本地部署，所有对话数据均保存在本地，确保了隐私安全。

Web UI Interface

四、常见问题与优化

1. 显存不足

如果运行过程中出现显存溢出错误，可以尝试加载量化版本较小的模型，或者减少并发请求数量。

2. 性能优化

启用 GPU 加速：确保 Docker 配置中正确传递了 GPU 设备。
调整上下文长度：在启动命令中可设置 OLLAMA_NUM_CTX 环境变量来限制上下文长度以提升速度。

3. 网络问题

虽然模型推理是离线的，但初次下载模型权重仍需网络连接。下载完成后即可断网使用。

五、总结

通过 Ollama 和 Open WebUI，开发者可以在个人电脑上快速搭建一套完整的大模型应用环境。这不仅降低了 AI 技术的门槛，也为数据敏感型任务提供了安全的解决方案。随着周边生态工具的丰富，本地大模型的应用场景将更加广泛。

本地部署 Ollama 大模型与 Open WebUI 离线使用指南