Ollama 本地部署大模型指南
Ollama 是一个开源工具,允许用户在本地计算机上轻松运行大型语言模型(LLM)。它支持 Windows、macOS 和 Linux 系统,无需复杂的配置即可启动对话。本文将详细介绍在不同操作系统下的安装步骤、模型管理、命令行交互以及 API 调用方法。
Windows 安装步骤
-
下载客户端 访问 Ollama 官方网站 (https://ollama.com),在 Windows 平台页面点击 Download 按钮下载安装程序。
-
执行安装 运行下载的安装包,按照向导提示完成安装。默认安装路径为 C 盘,请确保磁盘空间充足(建议预留至少 10GB 以上空间用于模型存储)。
-
验证安装 安装完成后,打开 Windows PowerShell 或 CMD,输入以下命令:
ollama --version若显示版本号信息,则说明环境变量配置成功且安装无误。
-
环境依赖 纯净版 Windows 系统可能缺少 VC++ 运行库。如果遇到报错,请前往微软官网下载并安装 Visual C++ Redistributable 组件。
Linux 安装步骤
对于 Debian/Ubuntu 等 Linux 发行版,推荐使用官方提供的安装脚本。
-
执行安装脚本 在终端中复制并运行以下命令:
curl -fsSL https://ollama.com/install.sh | sh该脚本会自动检测系统架构并下载对应的二进制文件。
-
验证服务 安装结束后,检查 Ollama 服务状态:
systemctl status ollama确认服务正在运行后,可通过
ollama命令测试。 -
Docker 部署(可选) 如需容器化部署,可使用 Docker 镜像:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
模型下载与运行
Ollama 采用拉取模式,首次使用时会自动下载模型权重。
-
运行模型 在命令行中输入以下格式指令:
ollama run <模型名称>例如,运行 Gemma 2B 模型:
ollama run gemma:2b系统将自动从仓库拉取模型文件,下载完成后进入对话界面。
-
常用模型推荐
llama3: Meta 最新开源模型,性能均衡。mistral: 高效的小型模型,适合低资源环境。wizardlm: 擅长复杂推理任务。
命令行交互方式
单行对话
直接输入问题并按回车键,模型将返回回答。
多行文本输入
若需发送包含换行的长文本或代码块,请使用双引号包裹内容:


