解锁DeepSeek潜能:Docker+Ollama打造本地大模型部署新范式

解锁DeepSeek潜能:Docker+Ollama打造本地大模型部署新范式

🐇明明跟你说过:个人主页

🏅个人专栏:《深度探秘:AI界的007》 🏅

🔖行路有良友,便是天堂🔖

目录

一、引言

1、什么是Docker

2、什么是Ollama

二、准备工作

1、操作系统

2、镜像准备

三、安装

1、安装Docker

2、启动Ollama

3、拉取Deepseek大模型

4、启动Deepseek 


一、引言

1、什么是Docker

Docker:就像一个“打包好的App”

想象一下,你写了一个很棒的程序,在自己的电脑上运行得很好。但当你把它发给别人,可能会遇到各种问题:

  • “这个软件需要 Python 3.8,但我只有 Python 3.6!”
  • “我没有你用的那个库,安装失败了!”
  • “你的程序要跑在 Linux,我的电脑是 Windows!”

💡 Docker 的作用:它就像一个“打包好的 App”,把你的软件、依赖、环境、系统配置等 全部封装到一个“容器” 里,别人拿到这个容器,就能直接运行,而不用关心它内部的细节。


🚀 把 Docker 想象成“集装箱”

传统运输 vs. 集装箱运输

以前(传统部署)

  • 货物(程序)需要不同的包装方式(运行环境)
  • 货物可能损坏(环境不兼容)
  • 装卸麻烦(程序迁移难)

有了 Docker(容器部署)

  • 货物装进标准化集装箱(Docker 容器)
  • 不管运到哪里,集装箱里东西不变(程序环境一致)
  • 码头和船只可以直接装卸(轻松部署到不同系统)

Docker 让软件像“集装箱”一样标准化、可移植、易部署! 🚢

2、什么是Ollama

Ollama 是一个本地运行大语言模型(LLM)的工具,它可以让你 在自己的电脑上直接运行 AI 模型,而不需要连接云端服务器。

💡 简单来说:Ollama 让你像运行普通软件一样,轻松在本地使用 ChatGPT、Llama、Mistral、Gemma 等大语言模型。

🚀 Ollama 的核心特点

  1. 本地运行 🏠
    • 你不需要联网,也不用担心隐私问题,所有计算都在你的电脑上完成。
  2. 支持多种开源模型 📚
    • 可以运行 Llama 3、Mistral、Gemma、Code Llama 等不同的大模型。
  3. 易于安装和使用 🔧
    • 只需要几条命令,就能下载并运行 AI 模型。
  4. 轻量化优化
    • 适配 Mac(Apple Silicon)、Linux 和 Windows,支持 GPU 加速,让模型运行更快。
  5. 离线推理 🔒
    • 适合不想依赖 OpenAI API 或其他云端 AI 服务的用户。

二、准备工作

1、操作系统

这里我们使用的操作系统为Centos 7.9,配置为4核8G,大家也可以使用其他的Linux发行版本,或者使用Windows。

2、镜像准备

如果已经安装了Docker,可以提前准备好镜像,ollama/ollama,镜像比较大,拉取会耗一些时间

三、安装

1、安装Docker

1.关闭防火墙

systemctl stop firewalld && systemctl disabled firewalld

2.关闭SELinux

setenforce 0

3.更换yum源

rm -f /etc/yum.repos.d/* curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all && yum makecache

4.安装依赖项

yum install -y yum-utils device-mapper-persistent-data lvm2

5. 添加Docker源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

 6.安装Docker

yum install docker-ce -y

7.添加Docker镜像加速器

vim /etc/docker/daemon.json # 添加如下内容 { "registry-mirrors": [ "https://docker.m.daocloud.io", "https://noohub.ru", "https://huecker.io", "https://dockerhub.timeweb.cloud", "https://0c105db5188026850f80c001def654a0.mirror.swr.myhuaweicloud.com", "https://5tqw56kt.mirror.aliyuncs.com", "https://docker.1panel.live", "http://mirrors.ustc.edu.cn/", "http://mirror.azure.cn/", "https://hub.rat.dev/", "https://docker.ckyl.me/", "https://docker.chenby.cn", "https://docker.hpcloud.cloud", "https://docker.m.daocloud.io" ] }

8.启动Docker

systemctl start docker

2、启动Ollama

1.启动Ollama容器

docker run -itd -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  • docker run    运行一个新的 Docker 容器
  • -itd    组合多个选项:
    •  ✅ -i(保持标准输入)
    •  ✅ -t(分配终端)
    •  ✅ -d(后台运行容器)
  • -v ollama:/root/.ollama    挂载数据卷,把 ollama 这个 Docker 数据卷 绑定到容器的 /root/.ollama 目录,确保数据持久化(如下载的模型不会丢失)。
  • -p 11434:11434    端口映射,把 宿主机(本机)的 11434 端口 映射到 容器 内部的 11434 端口,这样宿主机可以通过 http://localhost:11434 访问 Ollama 服务。
  • --name ollama    指定 容器名称 为 ollama,方便管理和启动。
  • ollama/ollama    使用的 Docker 镜像,这里是 官方的 Ollama 镜像。

如果是使用GPU运行,则用下面的命令启动

docker run -itd --name ollama --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

 2.查看Ollama容器

docker ps

 

 

3、拉取Deepseek大模型

1.进入到容器中 

docker exec -it ollama /bin/bash

2.拉取模型

ollama pull deepseek-r1:7b

 

 

在官网中,有许多Deepseek的模型,这里主要是演示,所以拉取了一个较小的模型

官网地址:deepseek-r1

 

 

3.查看模型

ollama list

 

 

4、启动Deepseek 

ollama run deepseek-r1:7b

 

 

 💕💕💕每一次的分享都是一次成长的旅程,感谢您的陪伴和关注。希望这些文章能陪伴您走过技术的一段旅程,共同见证成长和进步!😺😺😺



🧨🧨🧨让我们一起在技术的海洋中探索前行,共同书写美好的未来!!!  

Read more

告别手动改配置!CC-Switch:你的AI编码助手“万能遥控器”

告别手动改配置!CC-Switch:你的AI编码助手“万能遥控器”

作为一名天天和代码打交道的开发者,你一定没少用 Claude Code、Codex 或 Gemini CLI 这些 AI 编码助手。它们确实能让你效率飞起,但有一个问题,简直让人抓狂——配置管理。 想象一下这个场景:你在 A 项目用 Anthropic 官方接口,B 项目用代理中转,C 项目想试试某家“神秘”供应商……于是你开始了“手艺人”日常:打开 settings.json,小心翼翼地改 BASE_URL,粘贴新的 API_KEY,生怕一个多余的空格让整个 CLI 崩掉。 烦不烦?太烦了! 今天,我就来给你安利一个能让你彻底告别手动配置的“神器”——CC-Switch。它就像 AI

By Ne0inhk
【JAVA 进阶】SpringAI人工智能框架深度解析:从理论到实战的企业级AI应用开发指南

【JAVA 进阶】SpringAI人工智能框架深度解析:从理论到实战的企业级AI应用开发指南

文章目录 * 引言 * 1. SpringAI框架概述与核心架构 * 1.1 SpringAI框架简介与发展背景 * 1.1.1 SpringAI的核心价值 * 1.1.2 技术架构概览 * 1.2 SpringAI核心组件解析 * 1.2.1 模型管理器(Model Manager) * 1.2.2 提示模板引擎(Prompt Template Engine) * 2. SpringAI中的机器学习模型集成与管理 * 2.1 多模型集成策略 * 2.1.1 模型配置与加载 * 2.1.2 智能模型路由 * 2.2 模型版本管理与A/B测试 * 2.2.

By Ne0inhk

GPT4ALL本地部署AI大模型:拥有自己的本地AI助手

什么是大模型本地部署? 大模型本地部署,就是将大模型权重文件下载到本地,然后在本地用自己的硬件算力执行推理计算,获得结果的过程 。现在大模型本地部署不仅有GPT4ALL、Ollama、LM Studio以及llama.cpp等多个软件可以使用,也改变了必须使用GPU的“刻板印象”,可以直接使用CPU进行部署。值得一提的是,现在大模型的类型多样,参数量也极为丰富,用户可以根据自己的硬件资源和需求来自由选择不同大小的模型(如1.5B,7B,70B等)。 为什么要本地部署? * 本地部署,可以体验到以前没有用过的模型,也可以实现一个软件内多种不同模型的切换。 * 还有本地部署,可以真正保障数据的安全,因为现在用的AI助手都是运行和存储在云端。 * 在线使用大模型依赖网络,网络不稳定时,体验不好,且延迟较高。 怎么本地部署? 软件的选择 虽然本地部署的软件各种各样,在了解和尝试了多次之后,我还是选择了GPT4ALL,因为这款软件够“轻”,也够“稳”。 首先,它的安装包非常迷你,只有32MB,安装下来也只有1.77GB,对电脑的磁盘空间占用非常小。 其次,也是最核心的优势——

By Ne0inhk
人工智能:自然语言处理在金融领域的应用与实战

人工智能:自然语言处理在金融领域的应用与实战

人工智能:自然语言处理在金融领域的应用与实战 学习目标 💡 理解自然语言处理(NLP)在金融领域的应用场景和重要性 💡 掌握金融领域NLP应用的核心技术(如新闻分析、风险管理、欺诈检测) 💡 学会使用前沿模型(如FinBERT、BERT-base)进行金融文本分析 💡 理解金融领域的特殊挑战(如专业术语、实时性要求、数据安全) 💡 通过实战项目,开发一个金融新闻情感分析应用 重点内容 * 金融领域NLP应用的主要场景 * 核心技术(新闻分析、风险管理、欺诈检测) * 前沿模型(FinBERT、BERT-base)在金融领域的使用 * 金融领域的特殊挑战 * 实战项目:金融新闻情感分析应用开发 一、金融领域NLP应用的主要场景 1.1 金融新闻分析 1.1.1 金融新闻分析的基本概念 金融新闻分析是分析金融新闻文本的过程。在金融领域,金融新闻分析的主要应用场景包括: * 情感分析:分析新闻的情感倾向(如正面、中性、负面)

By Ne0inhk