Ollama 本地部署大型语言模型完整指南

注：Llama 3 是 Meta 于 2024 年 4 月开源的大语言模型，Ollama 已原生支持。

执行以下命令下载并运行模型：

ollama run gemma:2b

系统会自动拉取 manifest 及模型权重文件，显示进度条直至完成。

终端交互

下载完成后，可直接在终端进行对话。例如提问'介绍一下 React'：

>>> 介绍一下 React

模型将直接输出回答内容。

常用会话命令

在对话模式下，可以使用以下特殊命令：

显示帮助：

>>> /?

可用命令包括 /set (设置变量), /show (显示信息), /load (加载会话), /save (保存会话), /bye (退出)。

显示模型详情：

>>> /show info
Model details:
Family              gemma
Parameter Size      3B
Quantization Level  Q4_0

显示 Prompt 模板：

>>> /show template

API 调用

Ollama 提供 RESTful API 接口，默认监听 localhost:11434。可通过环境变量 OLLAMA_HOST 修改地址。

主要接口包括 generate 和 chat。

Generate 接口

用于单次生成任务。

流式返回：

curl http://localhost:11434/api/generate -d '{
  "model": "gemma:2b",
  "prompt":"介绍一下 React，20 字以内"
}'

响应为连续的 JSON Lines 格式，包含 done: false 直到结束。

非流式返回： 设置 "stream": false 可一次性获取完整结果。

curl http://localhost:11434/api/generate -d '{
  "model": "gemma:2b",
  "prompt":"介绍一下 React，20 字以内",
  "stream": false
}'

Chat 接口

适用于多轮对话场景，支持维护上下文历史。

流式请求：

curl http://localhost:11434/api/chat -d '{
  "model": "gemma:2b",
  "messages": [
    { "role": "user", "content": "介绍一下 React，20 字以内" }
  ]
}'

区别说明： generate 侧重于单点生成，不保留历史记忆；chat 则基于消息列表构建上下文，适合连续问答。

自定义模型 (Modelfile)

用户可以根据需求创建自定义模型。通过编写 Modelfile 定义基础模型、系统提示词及参数。

示例 Modelfile：

FROM llama3
SYSTEM """你是一个专业的编程助手，请简洁回答技术问题。"""
PARAMETER temperature 0.7
PARAMETER num_ctx 2048

创建模型：

ollama create my-assistant -f Modelfile

运行自定义模型：

ollama run my-assistant

部署与服务化

后台运行

Ollama 默认作为守护进程运行。若需手动启动服务：

ollama serve

环境变量配置

可通过环境变量调整服务行为，例如绑定特定 IP：

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

Web UI 集成

除了终端和 API，还可使用开源 Web UI 提升体验，例如 Open WebUI 或 Lollms-webui。这些工具通常通过 Docker 部署，并连接本地的 Ollama 服务。

常见问题排查

1. 显存不足：尝试使用量化版本较小的模型（如 3B 或 7B）。
2. 网络超时：国内用户可能需要配置镜像源或使用代理下载模型。
3. 权限问题：确保用户有权限访问 GPU 设备或相关目录。

总结

Ollama 极大地降低了本地运行大模型的门槛。通过简单的命令行操作即可完成模型下载、运行及 API 集成。结合自定义 Modelfile 功能，开发者可以快速构建符合特定需求的本地 AI 应用。对于需要数据隐私保护或离线环境的场景，Ollama 是理想的解决方案。