跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
Shell / BashAI算法

Docker+Ollama 本地部署 DeepSeek 大模型指南

在 CentOS 系统上利用 Docker 和 Ollama 本地部署 DeepSeek 大模型。流程涵盖 Docker 环境配置与镜像源优化、Ollama 容器启动、模型拉取及运行交互。方案支持 GPU 加速与离线推理,无需依赖云端 API,确保数据隐私安全。

灭霸发布于 2026/2/5更新于 2026/5/291.3K 浏览
Docker+Ollama 本地部署 DeepSeek 大模型指南

一、引言

1、什么是 Docker

Docker:就像一个'打包好的 App'

想象一下,你写了一个很棒的程序,在自己的电脑上运行得很好。但当你把它发给别人,可能会遇到各种问题:

  • '这个软件需要 Python 3.8,但我只有 Python 3.6!'
  • '我没有你用的那个库,安装失败了!'
  • '你的程序要跑在 Linux,我的电脑是 Windows!'

💡 Docker 的作用:它就像一个'打包好的 App',把你的软件、依赖、环境、系统配置等全部封装到一个'容器'里,别人拿到这个容器,就能直接运行,而不用关心它内部的细节。

🚀 把 Docker 想象成'集装箱'

传统运输 vs. 集装箱运输

以前(传统部署):

  • 货物(程序)需要不同的包装方式(运行环境)
  • 货物可能损坏(环境不兼容)
  • 装卸麻烦(程序迁移难)

有了 Docker(容器部署):

  • 货物装进标准化集装箱(Docker 容器)
  • 不管运到哪里,集装箱里东西不变(程序环境一致)
  • 码头和船只可以直接装卸(轻松部署到不同系统)

Docker 让软件像'集装箱'一样标准化、可移植、易部署!

2、什么是 Ollama

Ollama 是一个本地运行大语言模型(LLM)的工具,它可以让你在自己的电脑上直接运行 AI 模型,而不需要连接云端服务器。

💡 简单来说:Ollama 让你像运行普通软件一样,轻松在本地使用 ChatGPT、Llama、Mistral、Gemma 等大语言模型。

🚀 Ollama 的核心特点

  1. 本地运行 🏠
    • 你不需要联网,也不用担心隐私问题,所有计算都在你的电脑上完成。
  2. 支持多种开源模型 📚
    • 可以运行 Llama 3、Mistral、Gemma、Code Llama 等不同的大模型。
  3. 易于安装和使用 🔧
    • 只需要几条命令,就能下载并运行 AI 模型。
  4. 轻量化优化 ⚡
    • 适配 Mac(Apple Silicon)、Linux 和 Windows,支持 GPU 加速,让模型运行更快。
  5. 离线推理 🔒
    • 适合不想依赖 OpenAI API 或其他云端 AI 服务的用户。

二、准备工作

1、操作系统

这里我们使用的操作系统为 CentOS 7.9,配置为 4 核 8G,大家也可以使用其他的 Linux 发行版本,或者使用 Windows。

2、镜像准备

如果已经安装了 Docker,可以提前准备好镜像,ollama/ollama,镜像比较大,拉取会耗一些时间。

三、安装

1、安装 Docker

  1. 关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
  1. 关闭 SELinux
setenforce 0
  1. 更换 yum 源
rm -f /etc/yum.repos.d/* curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all && yum makecache
  1. 安装依赖项
yum install -y yum-utils device-mapper-persistent-data lvm2
  1. 添加 Docker 源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  1. 安装 Docker
yum install docker-ce -y
  1. 添加 Docker 镜像加速器
vim /etc/docker/daemon.json # 添加如下内容 { "registry-mirrors": [ "https://docker.m.daocloud.io", "https://noohub.ru", "https://huecker.io", "https://dockerhub.timeweb.cloud", "https://0c105db5188026850f80c001def654a0.mirror.swr.myhuaweicloud.com", "https://5tqw56kt.mirror.aliyuncs.com", "https://docker.1panel.live", "http://mirrors.ustc.edu.cn/", "http://mirror.azure.cn/", "https://hub.rat.dev/", "https://docker.ckyl.me/", "https://docker.chenby.cn", "https://docker.hpcloud.cloud", "https://docker.m.daocloud.io" ] }
  1. 启动 Docker
systemctl start docker

2、启动 Ollama

  1. 启动 Ollama 容器
docker run -itd -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  • docker run:运行一个新的 Docker 容器
  • -itd:组合多个选项:
    • ✅ -i(保持标准输入)
    • ✅ -t(分配终端)
    • ✅ -d(后台运行容器)
  • -v ollama:/root/.ollama:挂载数据卷,把 ollama 这个 Docker 数据卷绑定到容器的 /root/.ollama 目录,确保数据持久化(如下载的模型不会丢失)。
  • -p 11434:11434:端口映射,把宿主机(本机)的 11434 端口映射到容器内部的 11434 端口,这样宿主机可以通过 http://localhost:11434 访问 Ollama 服务。
  • --name ollama:指定容器名称为 ollama,方便管理和启动。
  • ollama/ollama:使用的 Docker 镜像,这里是官方的 Ollama 镜像。

如果是使用 GPU 运行,则用下面的命令启动

docker run -itd --name ollama --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama
  1. 查看 Ollama 容器
docker ps

3、拉取 DeepSeek 大模型

  1. 进入到容器中
docker exec -it ollama /bin/bash
  1. 拉取模型
ollama pull deepseek-r1:7b

在官网中,有许多 DeepSeek 的模型,这里主要是演示,所以拉取了一个较小的模型。

官网地址:deepseek-r1

  1. 查看模型
ollama list

4、启动 DeepSeek

ollama run deepseek-r1:7b

目录

  1. 一、引言
  2. 1、什么是 Docker
  3. 2、什么是 Ollama
  4. 二、准备工作
  5. 1、操作系统
  6. 2、镜像准备
  7. 三、安装
  8. 1、安装 Docker
  9. 2、启动 Ollama
  10. 3、拉取 DeepSeek 大模型
  11. 4、启动 DeepSeek
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • 开源大模型深度解析:LLaMA 3、Qwen 与 DeepSeek 技术对比
  • MCP 插件实战:browser-tools-mcp 配置与使用指南
  • Spatial Joy 2025 全球 AR&AI 开发大赛参赛指南
  • 基于 nanobot 构建轻量级 QQ AI 机器人及搜索模块优化实践
  • Visual Studio 使用 GitHub Copilot 与 IntelliCode 辅助编码
  • Whisper 模型微调实战:如何适配中文场景
  • 力扣 Hot100 链表算法题解(上)
  • 腾讯云轻量应用服务器部署 OpenClaw 并接入 QQ 飞书机器人
  • Trae AI 编辑器安装与核心功能使用指南
  • AI 辅助艺术创作:风格迁移与构图生成
  • OpenClaw 与 Telegram 机器人集成指南
  • Android Termux 安装 llama.cpp 并启动 WebUI
  • Go 语言实现邮箱地址有效性校验算法及源码
  • C++ vector 扩容策略详解:避免频繁内存分配提升效率
  • FPGA 调试:PCIe XDMA Link Up 失败使用 LTSSM 定位问题
  • GPT 模型的发展历程与核心架构解析
  • 三种适用于 Web 版 IM 聊天信息的加密算法实现方案
  • Vivado 项目 Git 版本管理实战指南:FPGA 工程师必读
  • 近五年体内微纳米机器人赋能肿瘤精准治疗综述:聚焦 GBM
  • OpenCowork 评测:Windows 本地 AI 助手与飞书集成指南

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online