使用Docker安装Ollama及Open-WebUI完整教程

优质文章学习记录

— 5 min read

作者：吴业亮
博客：wuyeliang.blog.ZEEKLOG.net

一、Ollama 简介及工作原理

1. Ollama 简介及原理

  • 简介：Ollama 是一款轻量级、开源的大语言模型（LLM）运行工具，旨在简化本地部署和运行大语言模型的流程。它支持 Llama 3、Mistral、Gemini 等主流开源模型，用户无需复杂配置即可在本地设备（CPU 或 GPU）上快速启动模型，适用于开发测试、本地智能应用搭建等场景。
  • 工作原理：
    • 采用模型封装机制，将大语言模型的运行环境、依赖库及推理逻辑打包为标准化格式，实现模型的一键下载、启动和版本管理。
    • 通过优化的推理引擎适配硬件架构，支持 CPU 基础运行和 GPU 加速（如 NVIDIA CUDA），减少资源占用并提升响应速度。
    • 提供简洁的 REST API 和命令行接口，降低开发者集成门槛，无需深入了解模型底层细节即可调用。
    • 支持容器化部署，确保跨环境一致性，避免依赖冲突问题。

2. Open-WebUI 简介及原理

  • 简介：Open-WebUI 是一款开源的可视化界面工具，专为 Ollama 设计，提供直观的交互界面用于管理和使用大语言模型。它支持模型切换、对话历史记录、参数调整等功能，让本地大语言模型的使用更便捷。
  • 工作原理：
    • 作为前端交互层，通过 API 与 Ollama 后端通信，接收用户输入并将其转发给 Ollama 进行模型推理。
    • 解析 Ollama 返回的结果并以自然语言对话形式展示给用户，同时记录对话历史并支持上下文关联。
    • 提供模型管理功能，可直接在界面中下载、启动、停止 Ollama 支持的模型，简化模型运维流程。
    • 支持容器化部署，与 Ollama 容器通过网络互通，实现快速搭建完整的本地大语言模型交互系统。

二、安装Docker

1. 安装Docker依赖

apt-getinstall ca-certificates curl gnupg lsb-release

2. 添加阿里云Docker软件源

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg |sudo apt-key add -

3. 配置系统软件源

编辑/etc/apt/sources.list文件，添加以下内容（清华大学Ubuntu镜像源）：

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse # 安全更新软件源 deb http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse # deb-src http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse # 预发布软件源，不建议启用 # deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse # # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse

4. 添加Docker软件源并更新密钥

add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys DDCAE044F796ECB0

5. 安装Docker

apt-getinstall docker-ce docker-ce-cli containerd.io

6. 验证Docker安装

docker -v

7. 配置Docker国内镜像源

7.1 编辑配置文件/etc/docker/daemon.json
{"registry-mirrors":["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io","https://ghcr.io","https://mirror.baidubce.com","https://docker.nju.edu.cn"]}
7.2 重新加载并重启Docker
systemctl daemon-reload systemctl restart docker

三、安装英伟达显卡驱动（GPU支持）

1. 配置存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey |sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

2. 设置源

创建并编辑nvidia-container-toolkit.list文件：

# 内容如下 deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/$(ARCH) / deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/ubuntu18.04/$(ARCH) / #deb https://mirrors.ustc.edu.cn/libnvidia-container/experimental/deb/$(ARCH) /#deb https://mirrors.ustc.edu.cn/libnvidia-container/experimental/ubuntu18.04/$(ARCH) /

3. 更新包列表

sudoapt-get update

4. 安装NVIDIA Container Toolkit

apt-getinstall -y nvidia-container-toolkit

5. 配置Docker以支持Nvidia驱动

nvidia-ctk runtime configure --runtime=docker

6. 重启Docker服务

systemctl restart docker.service

四、使用Docker安装Ollama

1. 拉取Ollama镜像

官方镜像：

docker pull ollama/ollama:latest

国内镜像（推荐）：

docker pull dhub.kubesre.xyz/ollama/ollama:latest

2. 启动Ollama容器

docker run -d \ --gpus=all \ --restart=always \ -v /root/project/docker/ollama:/root/project/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama
说明：此配置会让Ollama将模型保持加载在内存（显存）中

五、使用Docker安装Open-WebUI

1. 安装Main版本

docker run -d \ -p 15027:8080 \ --gpus all \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.nju.edu.cn/open-webui/open-webui:main

2. 安装CUDA版本（GPU加速）

docker run -d \ -p 15027:8080 \ --gpus all \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.nju.edu.cn/open-webui/open-webui:cuda

3. 访问Open-WebUI

打开浏览器访问以下地址进行登录：

http://192.168.1.129:15027/auth

Read more

2026实测｜深扒国内7款热门AI PPT神器：谁在裸泳，谁是真香？

2026实测｜深扒国内7款热门AI PPT神器：谁在裸泳，谁是真香？

文章目录 * 一、咔片 PPT * 二、笔格 PPT * 三、 7 牛 AI PPT * 四、百度文库 PPT * 五、Kimi PPT * 六、讯飞智文 * 七、让 AI PPT 效率翻倍的实用技巧 * 八、结语 大家好，我是小岛。 还在为做 PPT 熬夜掉发？现在的 AI 工具已经卷到“秒出大纲、自动配图、动态交互”了！但工具越多，坑也越多——有的逻辑混乱，有的排版辣眼，有的收费还死贵。 本期，我耗时两周，深度实测国内 7 款热门 AI

为什么你的AIGC系统延迟居高不下？C++层级优化才是根本解法

第一章：AIGC系统延迟问题的根源剖析 在当前AIGC（AI Generated Content）系统广泛应用于文本、图像和音频生成的背景下，延迟问题已成为影响用户体验的核心瓶颈。系统延迟不仅体现在响应时间上，还涉及模型推理、数据传输与资源调度等多个环节。 模型推理复杂度高 现代生成式AI模型通常包含数十亿参数，导致单次前向传播耗时较长。以Transformer架构为例，自注意力机制的时间复杂度为 $O(n^2)$，输入序列越长，计算开销呈平方级增长。 # 示例：简化版自注意力计算（仅供说明） import torch def scaled_dot_product_attention(q, k, v): d_k = q.size(-1) scores = torch.matmul(q, k.transpose(-2, -1)) / torch.sqrt(

WhisperX语音识别工具：为什么它比传统方案更值得选择？

WhisperX语音识别工具：为什么它比传统方案更值得选择？ 【免费下载链接】whisperXm-bain/whisperX: 是一个用于实现语音识别和语音合成的 JavaScript 库。适合在需要进行语音识别和语音合成的网页中使用。特点是提供了一种简单、易用的 API，支持多种语音识别和语音合成引擎，并且能够自定义语音识别和语音合成的行为。 项目地址: https://gitcode.com/gh_mirrors/wh/whisperX 在当今数字化时代，语音识别技术正迅速改变着我们处理信息的方式。WhisperX作为基于OpenAI Whisper的增强版本，不仅在识别准确率上有所突破，更在处理效率上实现了质的飞跃。本文将深入探讨这款工具的核心价值及其在实际应用中的独特优势。 为什么需要更智能的语音识别？ 传统的语音识别系统往往面临多个挑战：处理速度慢、时间戳精度不足、多说话人识别困难等。WhisperX通过创新的技术架构，有效解决了这些问题，为用户提供了前所未有的语音转写体验。 WhisperX语音识别完整流程：从音频输入到精准时间戳输出 核心功能深度解析 批