本地部署开源大语言模型框架 Ollama 入门指南

在 Linux 上，如果 Ollama 未启动，可以用如下命令启动 Ollama 服务：ollama serve，或者 sudo systemctl start ollama。

通过分析 Linux 的安装脚本 install.sh，就会看到其中已经将 ollama serve 配置为一个系统服务，所以可以使用 systemctl 来 start / stop ollama 进程。

启动 Ollama 服务后，可以查看当前的 Ollama 版本，以及常用命令。

ollama -v
ollama --help

如何下载并运行大语言模型？

至此，已经完成 Ollama 框架的安装，接下来，可以用一条命令在本地运行大语言模型。以著名的羊驼举例：ollama run llama2。

如果还没有下载过指定的大语言模型，这条命令将会先执行 ollama pull llama2，将大语言模型下载到本地，再在本地运行大语言模型。

下载完成后，运行效果如下：

ollama run llama2
>>> who are you?
I am LLaMA, an AI assistant developed by Meta AI that can understand and respond to human input in a conversational manner...
>>> Send a message (/? for help)

REST API

Ollama 还提供了 API 接口，方便开发者集成。

生成模式

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?",
  "stream": false
}'

返回结果如下：

{
    "model": "llama2",
    "created_at": "2024-02-26T04:35:10.787352404Z",
    "response": "The sky appears blue because of a phenomenon called Rayleigh scattering...",
    "done": true,
    "total_duration": 7001870820,
    "load_duration": 4930376,
    "prompt_eval_duration": 60907000,
    "eval_count": 309,
    "eval_duration": 6931593000
}

聊天模式

除了生成模式，Ollama 还支持聊天模式（Chat），适合多轮对话场景。

curl http://localhost:11434/api/chat -d '{
  "model": "llama2",
  "messages": [
    {"role": "user", "content": "Hello!"}
  ],
  "stream": false
}'

使用 API 接口，就可以实现更多灵活的功能，比如与 IDE 插件配合，实现本地的编程助手。

常见问题与配置 (FAQ)

如何查看运行的日志？

在 Linux 上运行命令 journalctl -u ollama，即可查看运行日志。

如何配置本地大模型对局域网提供服务？

在 Linux 上创建如下配置文件，并配置环境变量 OLLAMA_HOST 来指定对局域网提供服务的地址，再重启 Ollama 服务即可。

[Service]
Environment=OLLAMA_HOST=0.0.0.0:11434

如此配置后，即可由一台 GPU 服务器为本地局域网提供大语言模型的服务。

本地有多张 GPU，如何用指定的 GPU 来运行 Ollama？

在 Linux 上创建如下配置文件，并配置环境变量 CUDA_VISIBLE_DEVICES 来指定运行 Ollama 的 GPU，再重启 Ollama 服务即可。

[Service]
Environment=CUDA_VISIBLE_DEVICES=1,2

下载的大模型存储在哪个路径？

默认情况下，不同操作系统存储的路径如下：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\<username>\.ollama\models

如何修改大模型存储的路径？

Linux 平台安装 Ollama 时，默认安装时会创建用户 ollama，再将模型文件存储到该用户的目录。但由于大模型文件往往特别大，有时需要将大模型文件存储到专门的数据盘，此时就需要修改大模型文件的存储路径。

官方提供的方法是设置环境变量 OLLAMA_MODELS。如果在 Linux 上尝试后没有成功，可能是因为权限问题。可以通过以下步骤来实现修改大模型文件的存储路径：

1. 修改安装文件 install.sh，取消其中创建用户 ollama 的步骤。
2. 修改安装文件 install.sh，使用当前账户来启动 ollama 服务。
3. 添加配置中指定环境变量 OLLAMA_MODELS。

指定存储路径，再用此安装文件来安装 ollama。

[Service]
Environment=OLLAMA_MODELS=/home/user/lab/LLM/ollama/OLLAMA_MODELS

或者在安装完成后，创建如下配置文件，并配置环境变量 OLLAMA_MODELS 来指定存储路径，再重启 Ollama 服务。

如何创建自定义模型？

Ollama 允许用户通过 Modelfile 创建自定义模型。Modelfile 类似于 Dockerfile，用于定义模型的基础参数。

1. 创建一个名为 Modelfile 的文件。
2. 写入以下内容：

FROM llama2
SYSTEM "You are a helpful coding assistant."
PARAMETER temperature 0.7

3. 构建模型：

ollama create my-custom-model -f Modelfile

4. 运行模型：

ollama run my-custom-model

系统要求建议

为了获得较好的推理体验，建议硬件配置如下：

• CPU: 多核处理器，支持 AVX2 指令集。
• 内存: 至少 8GB RAM，推荐 16GB 以上。
• GPU: NVIDIA 显卡支持 CUDA，显存越大越好（8GB+ 可运行 7B 模型）。
• 磁盘: SSD 存储，预留足够空间下载模型文件（单模型约 4GB-10GB）。

常见错误排查

1. 端口被占用：如果报错 address already in use，检查 11434 端口是否被其他程序占用，或修改 OLLAMA_HOST 端口。
2. 权限不足：如果遇到权限错误，尝试使用 sudo 运行相关命令，或检查 systemd 服务配置中的 User 字段。
3. 模型加载失败：检查磁盘空间是否充足，以及网络连接是否正常（首次拉取需要联网）。