Ollama 本地部署与运行大型语言模型指南

默认情况下，不同操作系统大模型存储的路径如下：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users.ollama\models

官方提供设置环境变量 OLLAMA_MODELS 来更改模型文件的存储路径：

[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"

注意： 如果指定目录权限不属于 ollama 用户，服务可能无法启动。可通过授权解决：

chown ollama:ollama /data/ollama/models

查看日志调试问题：

journalctl -u ollama

3. 更改运行 GPU

配置环境变量 CUDA_VISIBLE_DEVICES 来指定运行 Ollama 的 GPU，适用于多卡环境：

Environment="CUDA_VISIBLE_DEVICES=0,1"

4. 应用配置

重载 systemd 并重启 Ollama：

systemctl daemon-reload
systemctl restart ollama

5. 访问测试

浏览器访问 http://IP:11434/，出现 Ollama is running 代表成功。

Ollama 命令

Shell 窗口输入 ollama 可打印相关命令说明。操作命令跟 Docker 非常相似。

root@master:~# ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

常用命令速查：

• ollama serve: 启动 ollama
• ollama create: 从模型文件创建模型
• ollama show: 显示模型信息
• ollama run: 运行模型
• ollama pull: 从注册仓库中拉取模型
• ollama push: 将模型推送到注册仓库
• ollama list: 列出已下载模型
• ollama rm: 删除模型

模型库

Ollama 拥有类似 Docker Hub 的模型库，在这里可以查找受 Ollama 支持的大模型。

以下是一些可以下载的示例模型：

• llama3:8b
• mistral:7b
• codellama
• gpt4all

注意：Ollama 支持 8 GB 的 RAM 可用于运行 7B 型号，16 GB 可用于运行 13B 型号，32 GB 可用于运行 33B 型号。当然这些模型是经过量化过的。

使用示例

下载模型

root@master:~# ollama pull llama3:8b
pulling manifest 
pulling 00e1317cbf74... 100%
verifying sha256 digest 
writing manifest 
success

查看模型

root@master:~# ollama list
NAME            ID              SIZE    MODIFIED      
llama3:8b       a6990ed6be41    4.7 GB  3 minutes ago

运行模型并进行对话

root@master:~# ollama run llama3:8b
>>> hi
Hi! How's your day going so far? I'm here to chat and help with any questions or topics you'd like to discuss. What's on your mind?

自定义模型

从 GGUF 导入

Ollama 支持在 Modelfile 文件中导入 GGUF 模型。创建一个名为 Modelfile 的文件，其中包含一条 FROM 指令，包含要导入的模型的本地文件路径。

FROM ./Llama3-FP16.gguf

在 Ollama 中创建模型：

ollama create llama3 -f Modelfile

运行模型：

ollama run llama3

自定义提示

Ollama 库中的模型可以通过 Modelfile 进行自定义配置，包括系统提示词和参数调整。

FROM llama3

# 设置温度参数
PARAMETER temperature 1

# 设置 SYSTEM 消息
SYSTEM """
作为 AI 智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。
"""

更多参数说明参考官方文档，常见参数包括 temperature, top_p, num_ctx 等。

从 PyTorch 或 Safetensors 导入

所谓从 PyTorch 或 Safetensors 导入 Ollama，其实就是使用 llama.cpp 项目，对 PyTorch 或 Safetensors 类型的模型进行转换、量化处理成 GGUF 格式的模型，然后再用 Ollama 加载使用。

开启服务与 API

运行模型后，执行 ollama serve 命令启动 Ollama 服务，然后就可以通过 API 形式进行模型调用。

ollama serve 会自动启动一个 http 服务，默认监听 127.0.0.1:11434。首次启动会自动生成 ssh 私钥文件。

REST API

1. 生成回复

curl http://IP:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "你好啊",
  "stream": false
}'

2. 与模型聊天

curl http://IP:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {
      "role": "system",
      "content": "你是一个乐于助人的 AI 助手。"
    },
    {
      "role": "user",
      "content": "你好啊"
    }
  ],
  "stream": false
}'

请求参数说明：

• model: 模型名称
• messages: 消息列表，包含 role (system/user/assistant) 和 content
• stream: 是否流式输出

扩展集成

One-API

One-API 是一个 OpenAI 接口管理 & 分发系统，支持各类大模型。这里使用 Docker 快速进行部署。

GitHub：https://github.com/songquanpeng/one-api

部署步骤

1. 拉取镜像：

   docker pull justsong/one-api
   

2. 创建挂载目录：

   mkdir -p /usr/local/docker/oneapi
   

3. 启动容器：

   docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /usr/local/docker/oneapi:/data justsong/one-api
   

4. 访问 IP:3001，初始账号用户名为 root，密码为 123456。

管理本地模型

在创建渠道时选择 Ollama，然后手工填上自己要使用的模型，密钥任意，最重要的是后面在代理中写上自己 ollama 服务的地址即可。测试成功后，在各类 OpenAI 套壳软件中，通过配置类似于 OpenAI 的密钥、API 地址等参数，就可以像使用 OpenAI 一样。

Open WebUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线操作。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。

GitHub：https://github.com/open-webui/open-webui

Docker 部署

根据场景不同，可分为以下几类：

1. 默认配置安装（计算机上有 Ollama）：

   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
   

2. Ollama 位于不同的服务器：

   docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
   

3. 支持 Nvidia GPU：

   docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
   

4. 捆绑 Ollama 支持：

   docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
   

配置

访问 http://IP:3000，创建一个账号。进入 Settings 中进行相关设置，包括语言、Ollama 的访问地址以及选择模型开始聊天。

常见问题排查

1. 服务无法启动：检查端口 11434 是否被占用，确认 ollama 用户是否有目录写入权限。
2. GPU 未识别：确保安装了正确的 CUDA 驱动，并在配置中指定 CUDA_VISIBLE_DEVICES。
3. 模型拉取失败：检查网络连接，尝试更换国内镜像源或增加超时时间。
4. API 连接拒绝：确认 OLLAMA_HOST 已设置为 0.0.0.0 并允许防火墙访问。

卸载 Ollama

停止并禁用服务：

systemctl stop ollama
systemctl disable ollama

删除服务文件和 Ollama 二进制文件：

rm /etc/systemd/system/ollama.service
rm $(which ollama)

清理 Ollama 用户和组：

rm -r /usr/share/ollama
userdel ollama
groupdel ollama

清理模型数据目录（可选）：

rm -rf /usr/share/ollama/.ollama/models