基于 Ollama 在本地电脑部署和运行大语言模型指南
将大模型运行在自己的电脑上，意味着不再依赖云端或外部服务器。这不仅能够保护数据隐私，还能随时随地享受 AI 带来的便捷与智能。Ollama 是一个开源的大型语言模型服务工具，设计初衷是帮助用户快速、便捷地在本地运行大型语言模型。
一、Ollama 介绍
Ollama 提供了一个强大的框架，使用户能够管理、部署和运行这些模型，从而在各种 NLP 任务中取得出色的效果。
1. 易用性
通过简单的安装指令，用户可以在本地计算机上快速部署 Ollama，并执行命令以运行开源大型语言模型。
2. 模型管理
它提供了一个模型库，用户可以在这里下载和运行不同的大型语言模型，如 Llama 3、Mistral、Qwen 等。同时，支持用户根据特定需求定制和创建自己的模型。
3. 性能优化
采用了先进的优化技术，如自动图优化和高效的内存管理，确保即使是最复杂的模型也能高效运行。此外，支持动态图，这使得它在调试和实验新想法时更具灵活性。
4. 多平台支持
支持 macOS、Windows 和 Linux 平台，甚至提供了 Docker 容器的支持，几乎覆盖了所有主流操作系统。
二、系统要求
在开始部署之前，请确保您的硬件满足以下基本要求：
- 操作系统：macOS (Apple Silicon 或 Intel), Windows 10/11, Linux (Ubuntu 20.04+, Debian 10+, Fedora 36+)
- 内存 (RAM)：建议至少 8GB，推荐 16GB 或以上
- 存储：根据模型大小，通常需要 5GB 到 70GB 不等的磁盘空间
- GPU：虽然 CPU 可以运行，但配备 NVIDIA GPU (CUDA) 或 Apple M 系列芯片能显著提升推理速度
三、Ollama 下载和安装
1. Windows 安装
访问官网 https://ollama.com/download 下载 Windows 安装包。双击 .msi 文件，按照向导完成安装。安装完成后，Ollama 将在后台启动服务。
2. macOS 安装
访问官网下载 .dmg 文件。拖拽应用图标到应用程序文件夹。首次运行时可能需要授予终端权限。
3. Linux 安装
对于大多数 Linux 发行版，可以使用以下命令进行安装：
curl -fsSL https://ollama.com/install.sh | sh
4. 验证安装
安装完成后，打开终端输入以下命令验证是否安装成功：
ollama --version
如果输出版本号信息，则表示安装成功。
四、常用命令行操作
Ollama 提供了一系列便捷的命令来管理模型。
列出所有本地安装的模型
ollama list
运行指定模型
ollama run qwen:7b
执行后进入交互模式，您可以直接输入问题与模型对话。
删除模型
ollama rm llama3:latest
