跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
Python

Ubuntu 部署 Ollama 与 Open WebUI 运行本地大模型

引言 本教程将详细介绍如何在 Ubuntu 系统上部署 **Ollama**,并通过 **Open WebUI** 实现本地大语言模型的图形化管理。部署完成后,你可以在本地运行如 **DeepSeek-Coder** 或 **CodeLlama** 等模型,并通过 Web 界面进行交互,享受私有化、低延迟的推理体验。 系统要求 **操作系统**:Ubuntu 20.04 或更高版本 **内存**:…

Tesfly发布于 2026/3/30更新于 2026/5/2377K 浏览

引言

本教程将详细介绍如何在 Ubuntu 系统上部署 Ollama,并通过 Open WebUI 实现本地大语言模型的图形化管理。部署完成后,你可以在本地运行如 DeepSeek-Coder 或 CodeLlama 等模型,并通过 Web 界面进行交互,享受私有化、低延迟的推理体验。

系统要求

  • 操作系统:Ubuntu 20.04 或更高版本
  • 内存:至少 8GB RAM(推荐 16GB 及以上)
  • 显卡:NVIDIA GPU(可选),无显卡时可通过 CPU 运行
  • 依赖软件:Docker、Git

安装步骤

3.1 安装 Docker 和 Docker Compose

首先安装运行 Open WebUI 容器所需的 Docker 环境:

sudo apt update
sudo apt install docker.io docker-compose -y

安装完成后,验证版本信息:

docker --version
docker-compose --version

3.2 配置 Docker 权限

若执行 Docker 命令时提示 permission denied while trying to connect to the Docker daemon socket,需将当前用户加入 docker 用户组:

sudo usermod -aG docker $USER
newgrp docker

随后重启 Docker 服务使配置生效:

sudo systemctl restart docker

3.3 安装 Ollama

Ollama 是本地大模型推理引擎,提供标准 API 供外部调用。执行官方一键安装脚本:

curl -fsSL https://ollama.com/install.sh | sh

3.4 启动 Ollama 服务

安装完成后,启动 Ollama 服务:

ollama serve &

该命令将在后台启动服务,默认监听 11434 端口。

3.5 拉取模型

根据需求拉取本地模型,例如:

ollama pull deepseek-coder:instruct
ollama pull codellama:13b-instruct

3.6 部署 Open WebUI

使用 Docker 拉取并运行 Open WebUI 容器,通过环境变量指定 Ollama API 地址:

docker run -d -p 3000:8080 --name open-webui --restart always -e OLLAMA_API_BASE_URL=http://localhost:11434/api ghcr.io/open-webui/open-webui:main

3.7 访问 Web 界面

容器启动后,在浏览器中访问: http://localhost:3000 在界面中选择已加载的模型即可开始交互。

配置与使用

4.1 模型路由配置

Open WebUI 支持通过配置文件或环境变量管理多模型路由。以下为 config.py 示例结构,用于定义不同模型的 API 地址与参数:

models_config = {
    "deepseek-chat": {
        "base_url": "https://api.deepseek.com",
        "key": ""
    },
    "gpt-4o": {
        "base_url": "",
        "key": ""
    },
    # 本地 Ollama(兼容 OpenAI /v1 接口)
    "ds-coder": {
        "base_url": "http://localhost:11434/v1",
        "key": "",
        "inner_model_name": "deepseek-coder:instruct"
    },
    "c13b": {
        "base_url": "http://localhost:11434/v1",
        "key": "",
        "inner_model_name": "codellama:13b-instruct"
    }
}

本地运行的模型无需填写 API Key。

4.2 交互测试

访问 http://localhost:3000 进入可视化界面后,选择对应模型(如 DeepSeek-Coder)输入编程问题,即可获取代码生成与优化建议。

常见问题

5.1 Docker 权限报错

若仍提示权限不足,请确认已执行 usermod 命令并重新登录终端或重启系统,使组权限生效。

5.2 显存不足

若无独立显卡或显存较小,运行 codellama:13b-instruct 等较大模型时可能出现 OOM。建议切换至轻量级模型,例如 deepseek-coder:lite-instruct 或 7b 版本。

总结

通过上述步骤,即可在 Ubuntu 本地完成 Ollama 与 Open WebUI 的部署。借助 Docker 容器化方案,可便捷地管理、切换不同规模的本地模型,实现完全离线的大语言模型推理与交互。

目录

  1. 引言
  2. 系统要求
  3. 安装步骤
  4. 3.1 安装 Docker 和 Docker Compose
  5. 3.2 配置 Docker 权限
  6. 3.3 安装 Ollama
  7. 3.4 启动 Ollama 服务
  8. 3.5 拉取模型
  9. 3.6 部署 Open WebUI
  10. 3.7 访问 Web 界面
  11. 配置与使用
  12. 4.1 模型路由配置
  13. 4.2 交互测试
  14. 常见问题
  15. 5.1 Docker 权限报错
  16. 5.2 显存不足
  17. 总结
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • AI 伪造语音检测模型实战:从算法选型到性能优化
  • Python 代码重构优化的核心方法与实战技巧
  • GitHub 日榜精选(2026-01-08):AI Agent、Web 分析与开发工具
  • 前端状态管理进阶:Immutable.js 实战与避坑指南
  • 华为 AI 岗位机考真题及编程题解析
  • Java 动态分析技术:原理与实战
  • H5-Dooring 低代码可视化编辑器使用指南
  • C++ 进阶:从裸指针到智能指针,内存管理进化之路
  • 大型语言模型的 11 种高效微调策略详解
  • 基于 OpenClaw 打造飞书 AI 办公机器人:本地模型与技能自动化实战
  • 链表分割:以给定值 x 为基准划分链表
  • 数据结构:二叉树核心概念与特性
  • 小鹏 VLA 2.0 自动驾驶与机器人技术突破解析
  • 大模型工具调用演进:从 Function Calling 到 MCP
  • C++ 继承机制详解
  • 基于 SpringBoot 和 Vue 的高校学科竞赛信息管理系统
  • 人工智能常见面试题与核心原理解析
  • PowerShell 无法激活 Python 虚拟环境的解决方案
  • 非英文 RAG 系统中 Embedding 模型的选择与应用策略
  • Elasticsearch Suggester 功能简介与使用示例

相关免费在线工具

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online

  • Base64 文件转换器

    将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online

  • Markdown转HTML

    将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online

  • HTML转Markdown

    将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML转Markdown在线工具,online

  • JSON 压缩

    通过删除不必要的空白来缩小和压缩JSON。 在线工具,JSON 压缩在线工具,online