使用Docker安装Ollama及Open-WebUI完整教程

Ne0inhk

— 5 min read

作者：吴业亮
博客：wuyeliang.blog.ZEEKLOG.net

一、Ollama 简介及工作原理

1. Ollama 简介及原理

  • 简介：Ollama 是一款轻量级、开源的大语言模型（LLM）运行工具，旨在简化本地部署和运行大语言模型的流程。它支持 Llama 3、Mistral、Gemini 等主流开源模型，用户无需复杂配置即可在本地设备（CPU 或 GPU）上快速启动模型，适用于开发测试、本地智能应用搭建等场景。
  • 工作原理：
    • 采用模型封装机制，将大语言模型的运行环境、依赖库及推理逻辑打包为标准化格式，实现模型的一键下载、启动和版本管理。
    • 通过优化的推理引擎适配硬件架构，支持 CPU 基础运行和 GPU 加速（如 NVIDIA CUDA），减少资源占用并提升响应速度。
    • 提供简洁的 REST API 和命令行接口，降低开发者集成门槛，无需深入了解模型底层细节即可调用。
    • 支持容器化部署，确保跨环境一致性，避免依赖冲突问题。

2. Open-WebUI 简介及原理

  • 简介：Open-WebUI 是一款开源的可视化界面工具，专为 Ollama 设计，提供直观的交互界面用于管理和使用大语言模型。它支持模型切换、对话历史记录、参数调整等功能，让本地大语言模型的使用更便捷。
  • 工作原理：
    • 作为前端交互层，通过 API 与 Ollama 后端通信，接收用户输入并将其转发给 Ollama 进行模型推理。
    • 解析 Ollama 返回的结果并以自然语言对话形式展示给用户，同时记录对话历史并支持上下文关联。
    • 提供模型管理功能，可直接在界面中下载、启动、停止 Ollama 支持的模型，简化模型运维流程。
    • 支持容器化部署，与 Ollama 容器通过网络互通，实现快速搭建完整的本地大语言模型交互系统。

二、安装Docker

1. 安装Docker依赖

apt-getinstall ca-certificates curl gnupg lsb-release

2. 添加阿里云Docker软件源

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg |sudo apt-key add -

3. 配置系统软件源

编辑/etc/apt/sources.list文件，添加以下内容（清华大学Ubuntu镜像源）：

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse # 安全更新软件源 deb http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse # deb-src http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse # 预发布软件源，不建议启用 # deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse # # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse

4. 添加Docker软件源并更新密钥

add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys DDCAE044F796ECB0

5. 安装Docker

apt-getinstall docker-ce docker-ce-cli containerd.io

6. 验证Docker安装

docker -v

7. 配置Docker国内镜像源

7.1 编辑配置文件/etc/docker/daemon.json
{"registry-mirrors":["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io","https://ghcr.io","https://mirror.baidubce.com","https://docker.nju.edu.cn"]}
7.2 重新加载并重启Docker
systemctl daemon-reload systemctl restart docker

三、安装英伟达显卡驱动（GPU支持）

1. 配置存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey |sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

2. 设置源

创建并编辑nvidia-container-toolkit.list文件：

# 内容如下 deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/$(ARCH) / deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/ubuntu18.04/$(ARCH) / #deb https://mirrors.ustc.edu.cn/libnvidia-container/experimental/deb/$(ARCH) /#deb https://mirrors.ustc.edu.cn/libnvidia-container/experimental/ubuntu18.04/$(ARCH) /

3. 更新包列表

sudoapt-get update

4. 安装NVIDIA Container Toolkit

apt-getinstall -y nvidia-container-toolkit

5. 配置Docker以支持Nvidia驱动

nvidia-ctk runtime configure --runtime=docker

6. 重启Docker服务

systemctl restart docker.service

四、使用Docker安装Ollama

1. 拉取Ollama镜像

官方镜像：

docker pull ollama/ollama:latest

国内镜像（推荐）：

docker pull dhub.kubesre.xyz/ollama/ollama:latest

2. 启动Ollama容器

docker run -d \ --gpus=all \ --restart=always \ -v /root/project/docker/ollama:/root/project/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama
说明：此配置会让Ollama将模型保持加载在内存（显存）中

五、使用Docker安装Open-WebUI

1. 安装Main版本

docker run -d \ -p 15027:8080 \ --gpus all \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.nju.edu.cn/open-webui/open-webui:main

2. 安装CUDA版本（GPU加速）

docker run -d \ -p 15027:8080 \ --gpus all \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.nju.edu.cn/open-webui/open-webui:cuda

3. 访问Open-WebUI

打开浏览器访问以下地址进行登录：

http://192.168.1.129:15027/auth

Read more

Flutter 三方库 username_gen 的鸿蒙化适配指南 - 实现具备语义化特征的随机用户名自动化生成、支持端侧快速原型开发与测试数据模拟实战

Flutter 三方库 username_gen 的鸿蒙化适配指南 - 实现具备语义化特征的随机用户名自动化生成、支持端侧快速原型开发与测试数据模拟实战

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 username_gen 的鸿蒙化适配指南 - 实现具备语义化特征的随机用户名自动化生成、支持端侧快速原型开发与测试数据模拟实战 前言 在进行 Flutter for OpenHarmony 的社交原型开发、内部压力测试或注册流程的兜底模拟时，如何快速产生大量、易读且不重复的用户名？手动硬编码 "test_user_1" 显然过于僵硬且不具备真实感。username_gen 是一款专注于基于形容词与名词组合建立“有趣”用户名的轻量级库。本文将探讨如何在鸿蒙端构建极致、敏捷的模拟数据填充体系。 一、原直观解析 / 概念介绍 1.1 基础原理 该库内置了一套精选的英文形容词库与名词库。通过洗牌算法（Shuffle）与自定义后缀注入逻辑，能在毫秒级产出符合 "AdjectiveNPC"

By Ne0inhk

Flutter 三方库 holiday_jp 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致、透明、全维度的日本法定节假日（公休日）查询与日历调度引擎

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 holiday_jp 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致、透明、全维度的日本法定节假日（公休日）查询与日历调度引擎 在鸿蒙（OpenHarmony）系统的全球化（Globalization）出海应用、针对日本市场的日程管理、财务结算系统（需考虑日本银行休假）或带有国际化特色的鸿蒙版日历组件中，如何瞬间获取任意年份日本的法定节假日、判定当前是否为公休日？holiday_jp 为开发者提供了一套工业级的、基于官方精细化数据集的日本节假日处理方案。本文将深入实战其在鸿蒙出海应用逻辑层中的应用。 前言 什么是 Holiday JP？它是一个专注于提供日本法定假期（祝日）数据的专业库。它涵盖了从传统的“元日”到现代的“体育之日”等所有官方假期，并能自动处理由于由于由于由于“振替休日（补休）”产生的动态调休逻辑。在 Flutter

By Ne0inhk
Flutter 组件 list_utilities 的适配 鸿蒙Harmony 实战 - 驾驭大规模列表处理、实现鸿蒙端集合运算的高性能优化与深度实战方案

Flutter 组件 list_utilities 的适配 鸿蒙Harmony 实战 - 驾驭大规模列表处理、实现鸿蒙端集合运算的高性能优化与深度实战方案

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 list_utilities 的适配 鸿蒙Harmony 实战 - 驾驭大规模列表处理、实现鸿蒙端集合运算的高性能优化与深度实战方案 前言 在移动端开发的日常实战中，我们处理的最多的数据结构莫过于“列表（List）”。无论是社交 App 的消息流、电商 App 的商品矩阵，还是系统级的通知中心，列表的处理效率直接决定了页面的加载速度和内存占用的健康度。 虽然 Dart 标准库提供了基础的 Iterable 操作，但在面对诸如“不规则分组（Grouping）”、“极速去重（Deduplication）”或者是“基于多个权重的复杂排序”时，原生方法的代码量会变得异常臃肿且难以优化。 list_utilities 是一套为 Dart 量身定制的集合操作增强工具。在适配鸿蒙系统（OpenHarmony）的过程中，

By Ne0inhk

Ubuntu 24.04下安装Open-VM-Tools的完整指南（附常见问题解决）

1. Open-VM-Tools简介与安装准备 Open-VM-Tools是VMware官方推荐在Linux虚拟机中使用的开源工具集，它取代了传统的VMware Tools安装方式。相比手动安装VMware Tools，Open-VM-Tools有三大优势：第一，它直接集成在Ubuntu官方仓库中，安装更简单；第二，它会随系统自动更新，无需手动维护；第三，它与Linux内核深度集成，性能更优。 在Ubuntu 24.04中，Open-VM-Tools已经包含了对最新内核的支持，能够完美实现以下功能： * 主机与虚拟机间的剪贴板共享 * 文件拖拽传输 * 自适应分辨率调整 * 时间同步 * 虚拟机性能监控 安装前需要确认： 1. 确保虚拟机已联网（ping www.ubuntu.com测试） 2. 更新软件包列表（sudo apt update） 3. 检查内核版本（uname -r显示5.15.0-xx-generic即为兼容） 我在实际使用中发现，Ubuntu 24.04默认已经包含了必要的内核模块，这使得Open-VM-Tools的安装比早期版本更加简单

By Ne0inhk