Mac 环境
随着大语言模型(LLM)的爆发式增长,越来越多的开发者希望在自己的机器上本地运行这些强大的模型,以保护隐私、降低成本或进行离线实验。然而,直接部署像 Llama 3、Mistral 或 Qwen 这样的模型往往涉及复杂的依赖、模型格式转换和 GPU 配置,对新手并不友好。
Ollama 的出现极大地简化了这一过程。它是一个开源的、轻量级的工具,将模型权重、配置和依赖打包成一个统一的包(Modelfile),让你可以通过简单的命令行快速启动和运行 LLM,并自动利用 GPU 加速。无论是 macOS、Linux 还是 Windows,Ollama 都提供了简洁的安装方式,并内置了 OpenAI 风格的 API 服务。
本文将手把手带你完成 Ollama 的安装、模型下载、运行以及将其作为服务部署的完整流程。
1. 先决条件
在开始之前,请确保你的硬件满足基本要求:
- 操作系统:macOS(11+ Big Sur 或更新)、Linux(支持 x86_64 或 ARM64)、Windows(Windows 10/11,需 WSL2 或通过官方 exe 安装)。
- 内存:至少 8GB RAM,推荐


