跳到主要内容 基于 Docker 部署 Ollama 与 Open-WebUI 本地大模型 | 极客日志
Shell / Bash AI
基于 Docker 部署 Ollama 与 Open-WebUI 本地大模型 介绍在 Linux 环境下通过 Docker 部署 Ollama 大语言模型运行工具及 Open-WebUI 可视化界面的完整流程。内容包括安装 Docker 引擎、配置国内镜像源、安装 NVIDIA 显卡驱动以启用 GPU 加速,以及分别启动 Ollama 和 Open-WebUI 容器,最终实现本地大模型的交互与管理功能。
无尘 发布于 2026/4/5 更新于 2026/4/13 1 浏览一、Ollama 简介及工作原理
1. Ollama 简介及原理
简介 :Ollama 是一款轻量级、开源的大语言模型(LLM)运行工具,旨在简化本地部署和运行大语言模型的流程。它支持 Llama 3、Mistral、Gemini 等主流开源模型,用户无需复杂配置即可在本地设备(CPU 或 GPU)上快速启动模型,适用于开发测试、本地智能应用搭建等场景。
工作原理 :
采用模型封装机制,将大语言模型的运行环境、依赖库及推理逻辑打包为标准化格式,实现模型的一键下载、启动和版本管理。
通过优化的推理引擎适配硬件架构,支持 CPU 基础运行和 GPU 加速(如 NVIDIA CUDA),减少资源占用并提升响应速度。
提供简洁的 REST API 和命令行接口,降低开发者集成门槛,无需深入了解模型底层细节即可调用。
支持容器化部署,确保跨环境一致性,避免依赖冲突问题。
2. Open-WebUI 简介及原理
简介 :Open-WebUI 是一款开源的可视化界面工具,专为 Ollama 设计,提供直观的交互界面用于管理和使用大语言模型。它支持模型切换、对话历史记录、参数调整等功能,让本地大语言模型的使用更便捷。
工作原理 :
作为前端交互层,通过 API 与 Ollama 后端通信,接收用户输入并将其转发给 Ollama 进行模型推理。
解析 Ollama 返回的结果并以自然语言对话形式展示给用户,同时记录对话历史并支持上下文关联。
提供模型管理功能,可直接在界面中下载、启动、停止 Ollama 支持的模型,简化模型运维流程。
支持容器化部署,与 Ollama 容器通过网络互通,实现快速搭建完整的本地大语言模型交互系统。
二、安装 Docker
1. 安装 Docker 依赖 apt-get install ca-certificates curl gnupg lsb-release
2. 添加阿里云 Docker 软件源 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
3. 配置系统软件源 编辑 /etc/apt/sources.list 文件,添加以下内容(清华大学 Ubuntu 镜像源):
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse
4. 添加 Docker 软件源并更新密钥 add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys DDCAE044F796ECB0
5. 安装 Docker apt-get install docker-ce docker-ce-cli containerd.io
6. 验证 Docker 安装
7. 配置 Docker 国内镜像源
7.1 编辑配置文件 /etc/docker/daemon.json { "registry-mirrors" : [ "https://docker.mirrors.ustc.edu.cn" , "https://hub-mirror.c.163.com" , "https://docker.m.daocloud.io" , "https://ghcr.io" , "https://mirror.baidubce.com" , "https://docker.nju.edu.cn" ] }
7.2 重新加载并重启 Docker systemctl daemon-reload
systemctl restart docker
三、安装英伟达显卡驱动(GPU 支持)
1. 配置存储库 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
2. 设置源 创建并编辑 nvidia-container-toolkit.list 文件:
deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/$(ARCH) /
deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/ubuntu18.04/$(ARCH) /
3. 更新包列表
4. 安装 NVIDIA Container Toolkit apt-get install -y nvidia-container-toolkit
5. 配置 Docker 以支持 Nvidia 驱动 nvidia-ctk runtime configure --runtime=docker
6. 重启 Docker 服务 systemctl restart docker.service
四、使用 Docker 安装 Ollama
1. 拉取 Ollama 镜像 docker pull ollama/ollama:latest
docker pull dhub.kubesre.xyz/ollama/ollama:latest
2. 启动 Ollama 容器 docker run -d \
--gpus=all \
--restart=always \
-v /root/project/docker/ollama:/root/project/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama
说明:此配置会让 Ollama 将模型保持加载在内存(显存)中
五、使用 Docker 安装 Open-WebUI
1. 安装 Main 版本 docker run -d \
-p 15027:8080 \
--gpus all \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.nju.edu.cn/open-webui/open-webui:main
2. 安装 CUDA 版本(GPU 加速) docker run -d \
-p 15027:8080 \
--gpus all \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.nju.edu.cn/open-webui/open-webui:cuda
3. 访问 Open-WebUI 微信扫一扫,关注极客日志 微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
相关免费在线工具 RSA密钥对生成器 生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
Mermaid 预览与可视化编辑 基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
Base64 字符串编码/解码 将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
Base64 文件转换器 将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
Markdown 转 HTML 将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML 转 Markdown 互为补充。 在线工具,Markdown 转 HTML在线工具,online
HTML 转 Markdown 将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML 转 Markdown在线工具,online