本地运行 AI 大模型指南：Ollama 快速上手
Ollama 简介
Ollama 是一款开源的轻量级框架，旨在简化大语言模型（LLM）的本地构建与运行。它支持多种主流开源模型，如 Llama 3、Mistral、Gemma 等，并提供了跨平台的部署能力。通过 Ollama，开发者可以在个人电脑上无需复杂的配置即可体验大模型的能力。
核心特点
- 跨平台支持：兼容 Windows、Linux 和 macOS 系统。
- 模型丰富：内置或支持拉取大量开源模型，包括千问、Llama3、Phi3 等。
- 易于交互：提供命令行接口，方便快速启动模型并与之对话。
- 自定义灵活：支持通过 Modelfile 自定义模型参数、系统提示词等。
- 高性能：优化了推理过程，能够高效运行数十亿参数的模型。
安装指南
macOS
使用 Homebrew 安装：
brew install ollama
或者从官网下载 DMG 包进行安装。
Windows
访问 Ollama 官网下载 Windows 安装包，双击运行并按照向导完成安装。
Linux
使用以下脚本安装：
curl -fsSL https://ollama.com/install.sh | sh
基本使用
安装完成后，Ollama 服务通常会在后台自动运行。以下是常用命令：
运行模型
直接运行指定模型，例如 Llama 3：
ollama run llama3
首次运行会自动下载模型权重。
查看与管理模型
列出已下载的模型：
ollama list
删除不需要的模型：
ollama rm llama3
手动拉取模型：
ollama pull llama3
自定义模型
Ollama 允许用户创建自定义模型文件（Modelfile）。创建一个名为 Modelfile 的文件，内容如下：
FROM llama3
SYSTEM "你是一个乐于助人的助手。"
PARAMETER temperature 0.7
然后创建并运行该模型：
ollama create my-model -f Modelfile
ollama run my-model
常见的参数包括 temperature（创造性）、top_p（核采样）、system（系统提示词）等。
API 调用
Ollama 默认监听 localhost:11434 端口，可以通过 HTTP API 进行集成。
命令行测试
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "为什么天空是蓝色的？" }
]
}'
