本地运行大模型工具：Ollama 安装与使用详解

本地运行大模型工具：Ollama 安装与使用详解 | 极客日志

本地运行大模型工具：Ollama 安装与使用详解

前言

在人工智能快速发展的今天，大语言模型（LLM）已成为许多领域的关键技术。随着开源模型的兴起，如何在本地环境中高效部署和运行这些模型成为了开发者关注的焦点。Ollama 是一个强大的框架，旨在简化大语言模型在本地环境中的部署与管理过程。

Ollama 简介

Ollama 将模型权重、配置和数据捆绑到一个包中，定义成 Modelfile。它优化了设置和配置细节，包括 GPU 使用情况，帮助用户快速在本地运行开源大型语言模型，例如 Llama 2、Mistral 等。通过简单的安装指令，用户即可执行一条命令在本地运行模型，无需复杂的依赖配置。

安装 Ollama

Ollama 支持多种平台，包括 macOS、Linux 以及 Docker 容器。

macOS 安装

如果你使用的是 Mac，可以直接下载安装包进行安装。

访问官方网站下载对应架构的安装包。
打开下载的 .dmg 文件。
将 Ollama 拖入应用程序文件夹。
首次启动时，系统可能会提示权限确认，点击允许即可。

Linux 安装

Linux 系统提供了一键安装脚本，适用于大多数主流发行版。

curl -fsSL https://ollama.ai/install.sh | sh

执行上述命令后，脚本会自动完成默认安装并启动服务。

Docker 安装

对于需要容器化部署的场景，可以使用官方提供的 Docker 镜像。

docker pull ollama/ollama:latest
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

使用 Ollama

基础运行

安装完成后，Ollama 服务通常会在后台自动启动。要运行一个模型，只需在终端输入以下命令：

ollama run llama2

该命令会自动拉取模型权重（如果本地不存在），并启动交互式对话界面。支持的其他模型可以通过 ollama list 查看已安装的模型列表。

自定义模型 (Modelfile)

Ollama 允许通过编写 Modelfile 来导入更多的自定义模型或调整现有模型的行为。Modelfile 定义了模型的基座、系统提示词、模板及参数。

示例 Modelfile 内容：

FROM llama2
SYSTEM "You are a helpful coding assistant."
PARAMETER temperature 0.7
PARAMETER num_ctx 2048

创建文件后，可以构建并推送自定义模型：

ollama create my-custom-model -f Modelfile
ollama run my-custom-model

API 调用

Ollama 提供了 HTTP API 接口，方便集成到其他应用中。默认监听端口为 11434。

启动服务并暴露网络接口：

OLLAMA_HOST=0.0.0.0:11434 ollama serve

使用 curl 发送请求示例：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

Python 客户端示例：

import requests

response = requests.post('http://localhost:11434/api/generate', json={
    'model': 'llama2',
    'prompt': 'Hello, how are you?',
    'stream': False
})
print(response.json()['response'])

系统资源需求

运行不同规模的模型对硬件资源有不同要求，以下为常见参考标准：

3B 模型：建议至少 8GB 内存
7B 模型：建议至少 16GB 内存
13B 模型：建议至少 32GB 内存

若使用 GPU 加速，需确保显卡驱动正常且显存充足。Mac 用户需注意 M 系列芯片的内存统一架构特性。

常见问题排查

端口冲突：如果 11434 端口被占用，可通过环境变量修改端口。
```
OLLAMA_HOST=0.0.0.0:11435 ollama serve
```
模型拉取失败：检查网络连接，部分模型可能需要代理才能从源服务器下载。
GPU 未识别：确保安装了正确的 CUDA 或 Metal 驱动，并在日志中查看设备检测信息。

总结

Ollama 以其开箱即用、轻量化的特点，成为本地运行大模型的首选工具之一。它不仅支持命令行交互，还具备灵活的 API 扩展能力，适合开发者和研究人员在本地进行模型测试与应用搭建。

本地运行大模型工具：Ollama 安装与使用详解