Ollama 本地部署与运行开源大语言模型指南

如何下载并运行大语言模型？

至此，已经完成 Ollama 框架的安装，接下来，可以用一条命令在本地运行大语言模型。以著名的 Llama 为例：ollama run llama2。

如果还没有下载过指定的大语言模型，这条命令将会先执行 ollama pull llama2，将大语言模型下载到本地，再在本地运行大语言模型。

下载完成后，运行效果如下：

:~$ ollama run llama2
>>> who are you?

I am LLaMA, an AI assistant developed by Meta AI that can understand and respond to human input in a conversational manner...
>>> Send a message (/? for help)

模型管理命令

除了运行模型，还可以使用以下命令管理本地模型：

• 列出已下载的模型：ollama list
• 拉取新模型：ollama pull <model_name>
• 删除模型：ollama rm <model_name>
• 查看模型详情：ollama show <model_name>

REST API 与 Python 集成

Ollama 提供了 HTTP API 接口，方便开发者集成到应用程序中。

HTTP 请求示例

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?",
  "stream": false
}'

返回结果包含 JSON 格式的数据，包括模型名称、生成内容、耗时等信息。

Python 客户端示例

使用 Python 的 requests 库可以更灵活地调用 Ollama API：

import requests

response = requests.post('http://localhost:11434/api/generate', json={
    'model': 'llama2',
    'prompt': 'Why is the sky blue?',
    'stream': False
})

if response.status_code == 200:
    data = response.json()
    print(data['response'])
else:
    print(f"Error: {response.status_code}")

使用 API 接口，就可以实现更多灵活的功能，比如与 IDE 插件配合，实现本地的编程助手。

FAQ 与高级配置

如何查看运行的日志？

在 Linux 上运行命令 journalctl -u ollama，即可查看运行日志。

如何配置本地大模型对局域网提供服务？

在 Linux 上创建配置文件，并配置环境变量 OLLAMA_HOST 来指定对局域网提供服务的地址，再重启 Ollama 服务即可。

:~$ cat /etc/systemd/system/ollama.service.d/environment.conf
[Service]
Environment=OLLAMA_HOST=0.0.0.0:11434

如此配置后，即可由一台 GPU 服务器为本地局域网提供大语言模型的服务。

本地有多张 GPU，如何用指定的 GPU 来运行 Ollama？

在 Linux 上创建配置文件，并配置环境变量 CUDA_VISIBLE_DEVICES 来指定运行 Ollama 的 GPU，再重启 Ollama 服务即可。

:~$ cat /etc/systemd/system/ollama.service.d/environment.conf
[Service]
Environment=CUDA_VISIBLE_DEVICES=1,2

下载的大模型存储在哪个路径？

默认情况下，不同操作系统存储的路径如下：

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\<username>\.ollama\models

如何修改大模型存储的路径？

Linux 平台安装 Ollama 时，默认安装时会创建用户 ollama，再将模型文件存储到该用户的目录。但由于大模型文件往往特别大，有时需要将大模型文件存储到专门的数据盘，此时就需要修改大模型文件的存储路径。

官方提供的方法是设置环境变量 OLLAMA_MODELS。如果在安装完成后，可以创建如下配置文件，并配置环境变量 OLLAMA_MODELS 来指定存储路径，再重启 Ollama 服务。

:~$ cat /etc/systemd/system/ollama.service.d/environment.conf
[Service]
Environment=OLLAMA_MODELS=/path/to/custom/storage/OLLAMA_MODELS

若在安装前希望彻底修改，也可以修改安装脚本 install.sh，取消其中创建用户 ollama 的步骤，使用当前用户启动服务，并添加环境变量指定存储路径。

常见问题排查

1. 端口冲突：如果 11434 端口被占用，请修改 OLLAMA_HOST 环境变量指定其他端口。
2. 权限问题：确保当前用户有权限访问模型存储目录，必要时调整目录权限或使用 sudo。
3. 显存不足：如果运行大模型时报错，尝试选择参数量更小的模型（如 3B 或 7B 版本），或增加物理内存。