Docker 部署 Ollama 和 Open-WebUI 的本地大模型方案

7. 配置 Docker 国内镜像源

7.1 编辑配置文件 /etc/docker/daemon.json

{"registry-mirrors":["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io","https://ghcr.io","https://mirror.baidubce.com","https://docker.nju.edu.cn"]}

7.2 重新加载并重启 Docker

systemctl daemon-reload
systemctl restart docker

安装英伟达显卡驱动和容器工具链

如果要让 Ollama 和 Open-WebUI 走 GPU，宿主机上还得把 NVIDIA 的容器支持配好。这里最关键的是 nvidia-container-toolkit，它决定了 Docker 容器能不能拿到显卡能力。

1. 配置存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

2. 设置源

创建并编辑 nvidia-container-toolkit.list 文件：

deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/$(ARCH) /
deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/ubuntu18.04/$(ARCH) /

3. 更新包列表

sudo apt-get update

4. 安装 NVIDIA Container Toolkit

apt-get install -y nvidia-container-toolkit

5. 配置 Docker 以支持 Nvidia 驱动

nvidia-ctk runtime configure --runtime=docker

6. 重启 Docker 服务

systemctl restart docker.service

使用 Docker 安装 Ollama

1. 拉取 Ollama 镜像

官方镜像：

docker pull ollama/ollama:latest

国内镜像（推荐）：

docker pull dhub.kubesre.xyz/ollama/ollama:latest

2. 启动 Ollama 容器

docker run -d \
  --gpus=all \
  --restart=always \
  -v /root/project/docker/ollama:/root/project/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

这套挂载方式会把模型数据留在宿主机上，容器重建后不用重新拉模型。说明里提到的'保持加载在内存（显存）中'，实际更偏向于启动后常驻服务的使用方式，具体表现还是看显存和模型大小。

使用 Docker 安装 Open-WebUI

1. 安装 Main 版本

docker run -d \
  -p 15027:8080 \
  --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.nju.edu.cn/open-webui/open-webui:main

2. 安装 CUDA 版本（GPU 加速）

docker run -d \
  -p 15027:8080 \
  --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.nju.edu.cn/open-webui/open-webui:cuda

如果机器上已经把 NVIDIA 容器环境装好了，CUDA 版本更顺手；如果只是先把界面跑起来，main 版本也能用。前提是 Ollama 后端已经正常提供服务。

3. 访问 Open-WebUI

打开浏览器访问下面地址登录：

http://192.168.1.129:15027/auth

如果页面能打开但模型列表为空，先回头检查 Ollama 容器是否在跑、端口 11434 是否可达。这个问题比前端本身更常见。