本地大模型运行工具 Ollama 安装与使用指南

近年来，人工智能技术发展迅猛，其中大型语言模型（LLM）的进步尤为引人注目。LLM 拥有海量的参数和强大的学习能力，能够执行各种复杂任务，例如生成文本、翻译语言、编写不同类型的创意内容等等。以往，想要体验 LLM，通常需要将模型部署到云端，这对于个人用户来说门槛较高，且成本不菲。现在，Ollama 的出现打破了这一限制。

Ollama 是一款开源工具，旨在将 LLM 的强大功能带到你的本地机器。通过 Ollama，可以轻松下载和运行各种 LLM 模型，而无需将数据上传到云端。

Ollama 有哪些优势？

本地部署，数据安全：Ollama 将 LLM 模型部署在你的本地机器上，无需将数据上传到云端，数据安全更有保障。
降低成本：与云端部署相比，使用 Ollama 可以显著降低 LLM 的使用成本。
离线使用：Ollama 支持离线使用，即使没有网络连接也能照常使用 LLM。
易于使用：Ollama 提供了易于使用的命令行界面和 API，即使是初学者也能快速上手。
跨平台支持：支持 macOS、Linux 和 Windows 系统。

Ollama 可以做什么？

Ollama 的应用场景非常广泛，以下是一些示例：

生成创意内容：你可以使用 Ollama 生成诗歌、代码、脚本、音乐作品、电子邮件、信件等创意内容。
翻译语言：你可以使用 Ollama 将文本从一种语言翻译成另一种语言。
问答系统：你可以构建一个问答系统，使用 Ollama 来回答用户的问题。
聊天机器人：你可以构建一个聊天机器人，使用 Ollama 来与用户进行对话。
代码辅助：利用 Code Llama 等模型辅助编程，解释代码或生成片段。

Ollama 如何安装

Ollama 的安装非常简单，官方推荐使用以下命令，支持跨平台（MacOS、Linux、Windows）：

1. 标准安装方法

在终端中执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

该脚本会自动检测操作系统架构并下载对应的二进制文件。

2. 验证安装

安装完成后，你可以通过以下命令验证 Ollama 是否安装成功：

ollama --version

如果输出版本号（如 0.1.32），则说明安装成功。

Ollama 如何使用

Ollama 的核心操作主要通过命令行完成。以下是常用命令及其说明：

# 查看帮助信息
ollama --help

# 启动服务（后台运行）
ollama serve

# 拉取模型
ollama pull <model_name>

# 运行模型
ollama run <model_name>

# 列出已下载的模型
ollama list

# 删除模型
ollama rm <model_name>

启动服务

注意：这个服务必须先启动，否则无法使用 Ollama 运行模型。默认情况下，Ollama 会监听 127.0.0.1:11434 端口。

ollama serve

输出日志显示服务正在运行：

time=2024-05-10T07:53:31.120+08:00 level=INFO source=images.go:817 msg="total blobs: 0"
time=2024-05-10T07:53:31.123+08:00 level=INFO source=payload.go:41 msg="Dynamic LLM libraries [metal]"

下载模型

Ollama 提供了一个模型库，可以直接拉取。例如下载 Llama 2 中文版本：

ollama pull llama2-chinese:13b

运行模型

下载完成后，直接在终端进行对话：

ollama run llama2-chinese:13b
>>> Send a message (/? for help):

输入问题后，模型会直接返回答案。

查看已经下载的模型

ollama list
NAME                    ID              SIZE    MODIFIED     
llama2:latest           78e26419b446    3.8 GB  2 months ago 
llama2-chinese:13b      990f930d55c5    7.4 GB  2 months ago

删除不用的模型

ollama rm llama2:latest

Ollama 支持哪些模型？

Ollama 已经支持多种主流开源模型，包括 Meta 的 LLaMA 系列、Google 的 Gemma、阿里云的通义千问 Qwen 等。以下是社区最火的模型列表及运行命令：

Model	Parameters	Size	Download Command
Llama 3	8B	4.7GB	`ollama run llama3`
Llama 3	70B	40GB	`ollama run llama3:70b`
Phi-3	3.8B	2.3GB	`ollama run phi3`
Mistral	7B	4.1GB	`ollama run mistral`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
LLaVA	7B	4.5GB	`ollama run llava`
Gemma	2B	1.4GB	`ollama run gemma:2b`
Gemma	7B	4.8GB	`ollama run gemma:7b`
Solar	10.7B	6.1GB	`ollama run solar`
Qwen	7B	4.5GB	`ollama run qwen`

更多模型请查看官方文档或社区仓库。

利用 Ollama 运行 Llama 3

注意：在运行 Llama 3 之前，请确保已经启动 Ollama 服务，也就是执行 ollama serve 命令，不要关掉终端窗口，其他命令在新的终端窗口执行。

安装并运行 Meta 的 LLaMA 3 大模型

ollama run llama3

执行后，系统会自动拉取模型权重文件，进度条显示下载状态。下载完成后进入交互模式。

终端对话示例

下载完成后，可以直接在终端进行对话，比如提问'React 是什么？'

>>> React 是什么？

输出结果如下：

React 是一个 JavaScript 库，用于构建用户界面（UI）的组件。它由 Facebook 在 2013 年发布，并且现在是 React.js 的维护者。
React 的主要目标是使开发人员更容易地创建可维护、可复用的 UI 组件。它提供了一系列的特性和工具来帮助您构建复杂的用户界面：
1. **组件化**：将 UI 组件分解成小的、独立的组件，每个组件负责一部分的 UI 逻辑。
2. **Virtual DOM**：React 会维护一个虚拟的 DOM（Document Object Model），这个虚拟 DOM 是实际 DOM 的一种抽象表示。这样可以提高性能，因为 React 只需要更新虚拟 DOM，而不是实际 DOM。
3. **JSX**：React 提供了 JSX 语法，这是一个 JavaScript 和 XML 的混杂语法，用于在 JavaScript 中编写 UI 组件的 HTML-like 结构。
4. **State 和 Props**：React 维护着每个组件的状态（state）和属性（props），这些信息会被传递给子组件或父组件。
5. **Lifecycle 方法**：React 提供了一系列的生命周期方法，用于在组件的创建、更新或销毁等阶段执行某些操作。

进阶：API 调用示例

除了命令行交互，Ollama 还提供了 HTTP API，方便集成到其他应用中。默认 API 地址为 http://localhost:11434/api/generate。

Python 调用示例

import requests
import json

url = "http://localhost:11434/api/generate"
data = {
    "model": "llama3",
    "prompt": "介绍一下量子计算的基本原理",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()["response"])

Node.js 调用示例

const response = await fetch('http://localhost:11434/api/generate', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'llama3',
    prompt: '介绍一下量子计算的基本原理',
    stream: false
  })
});

const result = await response.json();
console.log(result.response);

硬件要求与优化建议

要在本地流畅运行大模型，硬件配置至关重要：

内存（RAM）：
- 7B 模型至少需要 8GB RAM。
- 13B 模型建议 16GB RAM。
- 70B 模型建议 32GB 以上 RAM。
显卡（GPU）：
- 支持 CUDA 的 NVIDIA 显卡能显著提升推理速度。
- Apple Silicon (M1/M2/M3) 对 Ollama 有专门优化，效率很高。
量化级别：
- Ollama 默认使用 4-bit 量化（Q4_K_M），在精度和体积之间取得平衡。
- 如果需要更高精度，可选择 FP16 版本，但占用资源更多。

常见问题排查

端口冲突：如果提示 Address already in use，检查是否有其他进程占用了 11434 端口。
权限问题：在 Linux 下可能需要添加当前用户到 docker 组或使用 sudo（视安装方式而定）。
模型加载失败：检查磁盘空间是否充足，模型文件可能较大。
网络问题：拉取模型时若速度慢，可尝试更换镜像源或等待网络恢复。

总结

Ollama 是一款强大的本地大模型运行工具，可以帮助你轻松下载和运行各种 LLM 模型，而无需将数据上传到云端。通过 Ollama，你可以生成创意内容、翻译语言、构建问答系统、聊天机器人等等。Ollama 的安装和使用非常简单，只需几个命令即可完成。如果你想体验 LLM 的强大功能，不妨试试 Ollama 吧！

对于开发者而言，结合 Python 或 Node.js 的 API 调用能力，可以将 Ollama 无缝集成到自己的业务系统中，实现私有化的 AI 应用开发。随着硬件成本的下降和模型压缩技术的进步，本地运行大模型将成为未来企业和个人用户的主流选择之一。

本地大模型运行工具 Ollama 安装与使用指南