本地运行 AI 大模型指南：Ollama 快速上手

Ollama 简介

Ollama 是一款开源的轻量级框架，旨在简化大语言模型（LLM）的本地构建与运行。它支持多种主流开源模型，如 Llama 3、Mistral、Gemma 等，并提供了跨平台的部署能力。通过 Ollama，开发者可以在个人电脑上无需复杂的配置即可体验大模型的能力。

核心特点

跨平台支持：兼容 Windows、Linux 和 macOS 系统。
模型丰富：内置或支持拉取大量开源模型，包括千问、Llama3、Phi3 等。
易于交互：提供命令行接口，方便快速启动模型并与之对话。
自定义灵活：支持通过 Modelfile 自定义模型参数、系统提示词等。
高性能：优化了推理过程，能够高效运行数十亿参数的模型。

安装指南

macOS

使用 Homebrew 安装：

brew install ollama

或者从官网下载 DMG 包进行安装。

Windows

访问 Ollama 官网下载 Windows 安装包，双击运行并按照向导完成安装。

Linux

使用以下脚本安装：

curl -fsSL https://ollama.com/install.sh | sh

基本使用

安装完成后，Ollama 服务通常会在后台自动运行。以下是常用命令：

运行模型

直接运行指定模型，例如 Llama 3：

ollama run llama3

首次运行会自动下载模型权重。

查看与管理模型

列出已下载的模型：

ollama list

删除不需要的模型：

ollama rm llama3

手动拉取模型：

ollama pull llama3

自定义模型

Ollama 允许用户创建自定义模型文件（Modelfile）。创建一个名为 Modelfile 的文件，内容如下：

FROM llama3
SYSTEM "你是一个乐于助人的助手。"
PARAMETER temperature 0.7

然后创建并运行该模型：

ollama create my-model -f Modelfile
ollama run my-model

常见的参数包括 temperature（创造性）、top_p（核采样）、system（系统提示词）等。

API 调用

Ollama 默认监听 localhost:11434 端口，可以通过 HTTP API 进行集成。

命令行测试

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "为什么天空是蓝色的？" }
  ]
}'

Python 示例

使用 Python 的 requests 库调用 API：

import requests
import json

url = "http://localhost:11434/api/generate"
data = {
    "model": "llama3",
    "prompt": "请简述人工智能的定义。",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()['response'])

总结

Ollama 为开发者提供了一个强大且易于使用的平台，让本地运行和管理大型语言模型变得简单。无论是快速验证想法还是深度定制应用，Ollama 都能满足需求。配合 Open WebUI 等第三方界面，可以进一步提升本地 AI 的使用体验。