使用Docker安装Ollama及Open-WebUI完整教程

Ne0inhk

— 5 min read

作者：吴业亮
博客：wuyeliang.blog.ZEEKLOG.net

一、Ollama 简介及工作原理

1. Ollama 简介及原理

  • 简介：Ollama 是一款轻量级、开源的大语言模型（LLM）运行工具，旨在简化本地部署和运行大语言模型的流程。它支持 Llama 3、Mistral、Gemini 等主流开源模型，用户无需复杂配置即可在本地设备（CPU 或 GPU）上快速启动模型，适用于开发测试、本地智能应用搭建等场景。
  • 工作原理：
    • 采用模型封装机制，将大语言模型的运行环境、依赖库及推理逻辑打包为标准化格式，实现模型的一键下载、启动和版本管理。
    • 通过优化的推理引擎适配硬件架构，支持 CPU 基础运行和 GPU 加速（如 NVIDIA CUDA），减少资源占用并提升响应速度。
    • 提供简洁的 REST API 和命令行接口，降低开发者集成门槛，无需深入了解模型底层细节即可调用。
    • 支持容器化部署，确保跨环境一致性，避免依赖冲突问题。

2. Open-WebUI 简介及原理

  • 简介：Open-WebUI 是一款开源的可视化界面工具，专为 Ollama 设计，提供直观的交互界面用于管理和使用大语言模型。它支持模型切换、对话历史记录、参数调整等功能，让本地大语言模型的使用更便捷。
  • 工作原理：
    • 作为前端交互层，通过 API 与 Ollama 后端通信，接收用户输入并将其转发给 Ollama 进行模型推理。
    • 解析 Ollama 返回的结果并以自然语言对话形式展示给用户，同时记录对话历史并支持上下文关联。
    • 提供模型管理功能，可直接在界面中下载、启动、停止 Ollama 支持的模型，简化模型运维流程。
    • 支持容器化部署，与 Ollama 容器通过网络互通，实现快速搭建完整的本地大语言模型交互系统。

二、安装Docker

1. 安装Docker依赖

apt-getinstall ca-certificates curl gnupg lsb-release

2. 添加阿里云Docker软件源

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg |sudo apt-key add -

3. 配置系统软件源

编辑/etc/apt/sources.list文件，添加以下内容（清华大学Ubuntu镜像源）：

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse # 安全更新软件源 deb http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse # deb-src http://security.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse # 预发布软件源，不建议启用 # deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse # # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse

4. 添加Docker软件源并更新密钥

add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys DDCAE044F796ECB0

5. 安装Docker

apt-getinstall docker-ce docker-ce-cli containerd.io

6. 验证Docker安装

docker -v

7. 配置Docker国内镜像源

7.1 编辑配置文件/etc/docker/daemon.json
{"registry-mirrors":["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io","https://ghcr.io","https://mirror.baidubce.com","https://docker.nju.edu.cn"]}
7.2 重新加载并重启Docker
systemctl daemon-reload systemctl restart docker

三、安装英伟达显卡驱动（GPU支持）

1. 配置存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey |sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

2. 设置源

创建并编辑nvidia-container-toolkit.list文件：

# 内容如下 deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/$(ARCH) / deb https://mirrors.ustc.edu.cn/libnvidia-container/stable/ubuntu18.04/$(ARCH) / #deb https://mirrors.ustc.edu.cn/libnvidia-container/experimental/deb/$(ARCH) /#deb https://mirrors.ustc.edu.cn/libnvidia-container/experimental/ubuntu18.04/$(ARCH) /

3. 更新包列表

sudoapt-get update

4. 安装NVIDIA Container Toolkit

apt-getinstall -y nvidia-container-toolkit

5. 配置Docker以支持Nvidia驱动

nvidia-ctk runtime configure --runtime=docker

6. 重启Docker服务

systemctl restart docker.service

四、使用Docker安装Ollama

1. 拉取Ollama镜像

官方镜像：

docker pull ollama/ollama:latest

国内镜像（推荐）：

docker pull dhub.kubesre.xyz/ollama/ollama:latest

2. 启动Ollama容器

docker run -d \ --gpus=all \ --restart=always \ -v /root/project/docker/ollama:/root/project/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama
说明：此配置会让Ollama将模型保持加载在内存（显存）中

五、使用Docker安装Open-WebUI

1. 安装Main版本

docker run -d \ -p 15027:8080 \ --gpus all \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.nju.edu.cn/open-webui/open-webui:main

2. 安装CUDA版本（GPU加速）

docker run -d \ -p 15027:8080 \ --gpus all \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.nju.edu.cn/open-webui/open-webui:cuda

3. 访问Open-WebUI

打开浏览器访问以下地址进行登录：

http://192.168.1.129:15027/auth

Read more

Flutter 三方库 flutter_dropzone 的鸿蒙化适配指南 - 掌握万物皆可拖拽的资源流转技术、助力鸿蒙大屏与 Web 应用构建极致直观的文件导入与交互体系

Flutter 三方库 flutter_dropzone 的鸿蒙化适配指南 - 掌握万物皆可拖拽的资源流转技术、助力鸿蒙大屏与 Web 应用构建极致直观的文件导入与交互体系

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 flutter_dropzone 的鸿蒙化适配指南 - 掌握万物皆可拖拽的资源流转技术、助力鸿蒙大屏与 Web 应用构建极致直观的文件导入与交互体系 前言 在 OpenHarmony 鸿蒙应用全场景覆盖、特别是适配鸿蒙桌面模式（Desktop Mode）、折叠屏大屏交互及鸿蒙 Web 版推送的工程实战中，“文件拖拽（Drag and Drop）”已成为提升生产力效率的标配功能。用户希望能够像在 PC 上一样，直接将图片或文档拖入应用窗口即可完成上传。如何实现这种跨越边界的直观交互？flutter_dropzone 作为一个专注于“拖放区域感知与文件流提取”的库，旨在为鸿蒙开发者提供一套标准的拖放治理方案。本文将详述其在鸿蒙端的实战技法。 一、原原理分析 / 概念介绍 1.1 基础原理 flutter_dropzone

By Ne0inhk
【前端小站】CSS 样式美学：从基础语法到界面精筑的实战宝典

【前端小站】CSS 样式美学：从基础语法到界面精筑的实战宝典

半桔：个人主页  🔥 个人专栏: 《前端扫盲》《手撕面试算法》《C++从入门到入土》 🔖阻止了我的脚步的，并不是我所看见的东西，而是我所无法看见的那些东西。 《海上钢琴师》 文章目录 * 前言 * 一. CSS是什么 * 1.1 概念 * 1.2 基本语法 * 二. CSS如何引入HTML * 2.1 内部样式表 * 2.2 行内选择器 * 2.3 外部引入 * 三. CSS选择器 * 3.1 基础选择器 * 3.1.1 标签选择器 * 3.1.2 类选择器 * 3.1.3 id选择器 * 3.

By Ne0inhk
WebRTC指纹伪装：隐藏本地IP与硬件信息（实战指南）

WebRTC指纹伪装：隐藏本地IP与硬件信息（实战指南）

在浏览器自动化、爬虫或隐私保护场景中，WebRTC（网页实时通信） 是泄露隐私的“重灾区”——它会通过RTCPeerConnection接口主动暴露本地内网IP（如192.168.1.10）、公网IP（绕过代理），甚至间接泄露硬件性能（如CPU核心数、网卡信息），形成唯一的“WebRTC指纹”，被反爬系统、指纹追踪系统精准识别。 本文从工业级实战角度，基于Python（Selenium/Playwright）和浏览器扩展，拆解WebRTC指纹的核心泄露点，实现本地IP完全隐藏、硬件信息随机化的双重伪装。全程聚焦技术原理与合规应用（仅用于隐私保护、合规自动化测试），杜绝恶意攻击与违规追踪规避。 一、核心前提：WebRTC为何会泄露信息？ WebRTC的设计初衷是实现浏览器间点对点通信（如视频通话、文件传输），因此需要获取网络地址和硬件能力来建立连接，核心泄露点有3个： 泄露类型核心接口泄露内容风险网络地址RTCPeerConnection()

By Ne0inhk
Java Web 交通管理在线服务系统系统源码-SpringBoot2+Vue3+MyBatis-Plus+MySQL8.0【含文档】

Java Web 交通管理在线服务系统系统源码-SpringBoot2+Vue3+MyBatis-Plus+MySQL8.0【含文档】

摘要 随着城市化进程的加快和机动车保有量的持续增长，交通管理面临着日益复杂的挑战。传统的线下交通管理服务模式效率低下，难以满足现代社会的需求。交通拥堵、违章处理效率低、信息不透明等问题日益突出，亟需通过信息化手段提升管理效率和服务水平。基于此，开发一套高效、便捷的交通管理在线服务系统具有重要意义。该系统旨在整合交通管理资源，实现业务线上化、数据可视化，为公众提供一站式服务，同时为管理部门提供决策支持。关键词：交通管理、在线服务、信息化、效率提升、决策支持。 本系统采用SpringBoot2作为后端框架，结合Vue3前端技术，实现前后端分离开发。数据库选用MySQL8.0，通过MyBatis-Plus简化数据操作。系统功能涵盖用户管理、违章处理、车辆信息管理、在线缴费等模块。用户可通过系统查询违章记录、缴纳罚款、预约业务办理；管理员则能高效管理车辆和驾驶员信息，生成统计报表。系统设计注重用户体验和数据安全，采用JWT进行身份验证，确保数据传输加密。关键词：SpringBoot2、Vue3、MyBatis-Plus、MySQL8.0、JWT、数据安全。 数据表

By Ne0inhk