Ubuntu 20.04 安装 Ollama 与 Open WebUI 部署大模型指南
简介
Ollama 是一个开源项目，专为在本地运行、管理和部署大型语言模型（如 Llama 3、Mistral、Gemma 等）而设计。它简单易用，通过简单的命令行工具即可完成模型的下载、运行和管理。
优势与局限
优势
- 数据隐私与安全：所有对话提示和生成内容完全在本地处理。
- 完全离线可用：无需依赖互联网连接。
- 可定制性：可尝试不同规模和专长的模型。
- 无使用成本：除电费和硬件外无订阅费用。
局限
- 硬件要求高：对内存（RAM）和显存（VRAM）有较高要求。
- 性能差异：复杂推理任务可能不如顶级付费 API。
- 知识陈旧：知识库取决于训练时间点。
环境准备
设备信息
lsb_release -a
检查储存空间及显存大小
- 储存空间至少预留十几 G。
- 检查显存大小，决定能运行模型的参数量。
nvidia-smi
Ollama 下载与安装
1. 下载链接
2. 运行安装脚本
curl -fsSL https://ollama.com/install.sh | sh
3. 管理 Ollama 服务
sudo systemctl start ollama
sudo systemctl stop ollama
sudo systemctl restart ollama
sudo systemctl enable ollama
sudo journalctl -u ollama -f
4. 常用 Ollama 命令
ollama --help
ollama run <model-name>
ollama run <model-name>"你的问题"
ollama pull <model-name>
ollama list
ollama rm <model-name>
ollama show llama3
ollama show llama3 --modelfile
