引言
在人工智能浪潮席卷全球的今天,大型语言模型(LLM)不再是遥不可及的云端技术。借助 Ollama,每一位开发者都能轻松地将强大的模型部署在自己的本地计算机上,实现无缝、私密且可定制的 AI 体验。本文将带领您一步步在 Ubuntu 20.04 系统上完成 Ollama 的安装与模型部署,并最终搭建美观易用的图形化界面(Open WebUI)。
Ollama 是什么?
Ollama 是一个开源项目,专为在本地运行、管理和部署大型语言模型(如 Llama 3、Mistral、Gemma 等)而设计。
它的核心概念与优势非常清晰:
- 简单易用:通过简单的命令行工具,即可完成模型的下载(pull)、运行(run)和管理。一条命令就能启动与模型的对话。
- 丰富的模型库:它提供了官方支持的模型库(Ollama Search),包含 deep-seek、qwen 等数十种经过优化的大型语言模型,满足从代码生成到创意写作的各种需求。
- '开箱即用':它自动处理了模型运行所需的大部分复杂配置和环境依赖,用户无需关心繁琐的底层细节。
本地部署语言模型的好处与局限性
选择在本地运行 Ollama,意味着选择了一种新的 AI 交互方式,但它也并非完美无缺。
优势 (Benefits)
- 数据隐私与安全:您的所有对话提示(Prompts)和模型生成的内容完全在本地处理,不会离开您的计算机。这对于处理敏感代码、商业数据或个人信息的用户至关重要。
- 完全离线可用:一旦模型下载完成,您就无需依赖互联网连接或担心 API 服务宕机,可以在任何没有网络的环境中使用。
- 可定制性:您可以尝试各种不同规模和专长的模型,甚至可以根据需要加载自定义模型(Modelfiles),灵活性远超固定的云端 API。
- 无使用成本:除了电费和硬件成本外,没有按次收费或订阅费用,您可以无限次地与模型交互。
局限性 (Limitations)
- 硬件要求高:本地部署对计算机硬件,尤其是内存(RAM)和显存(VRAM) 有较高要求。运行大型模型可能需要数十 GB 的资源。
- 性能差异:虽然本地推理延迟低,但模型的能力和响应速度通常无法与 OpenAI GPT-4 这类顶级付费 API 相提并论,尤其是在复杂推理任务上。
- 知识陈旧:本地部署的模型知识库是静态的,其知识截止日期取决于它被训练的时间点,无法像一些云端模型那样实时获取最新信息。
环境准备
设备信息
lsb_release -a
检查储存空间及显存大小
- 储存空间至少预留十几 G,因为一个模型的大小都在几个 G 左右
- 检查显存大小,显存大小决定了能运行模型的参数量
nvidia-smi
Ollama 下载与安装
1. 下载链接:
2. 运行安装脚本:
curl -fsSL https://ollama.com/install.sh |sh
3. 管理 Ollama 服务:
# 启动 Ollama 服务
sudo systemctl start ollama
# 停止 Ollama 服务
systemctl stop ollama
systemctl restart ollama
systemctl ollama
journalctl -u ollama -f


