使用 Ollama 在本地电脑运行大模型指南

>>> /show info
Name: llama2
Parameters: 7B
Quantization: q4_0
...

清理无用模型

当磁盘空间不足时，可以使用 rm 命令移除不再需要的模型：

ollama rm llama2

系统配置与优化

为了获得更好的推理性能，可以对 Ollama 进行一些环境配置。

上下文窗口设置

默认情况下，模型有固定的上下文窗口限制。可以通过环境变量调整最大上下文长度：

export OLLAMA_NUM_CTX=4096

GPU 加速

虽然 Ollama 支持纯 CPU 运行，但如果拥有 NVIDIA 显卡，它可以自动利用 GPU 加速推理。确保已安装正确的 CUDA 驱动，Ollama 会在启动时检测并启用 GPU 层。

量化模型选择

Ollama 提供不同量化级别的模型（如 Q4_K_M, Q8_0 等）。量化级别越低，模型体积越小，速度越快，但精度略有损失。对于普通 PC，推荐使用 q4_0 或 q4_k_m 版本。

API 调用示例

Ollama 内置了一个本地 RESTful API，允许开发者通过 HTTP 请求与模型交互，便于集成到应用程序中。

启动 API 服务

通常 Ollama 启动后 API 服务已在 http://localhost:11434 监听。无需额外启动命令。

使用 Curl 调用

发送一个 POST 请求生成文本：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'

Python 集成示例

在 Python 脚本中，可以使用 requests 库调用 API：

import requests
import json

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama2',
        'prompt': '解释一下量子纠缠',
        'stream': False
    }
)

print(response.json()['response'])

常见问题排查

1. 下载速度慢：模型文件较大，建议使用稳定的网络环境。部分镜像源可能提供更快的下载速度。
2. 内存不足：运行大模型需要足够的 RAM。如果内存不足，尝试减小 OLLAMA_NUM_CTX 或使用更小参数的模型（如 7B 以下）。
3. 权限问题：在 Linux 或 macOS 上，如果遇到权限错误，请确保 Ollama 服务具有读取用户目录的权限。

总结

Ollama 极大地降低了本地运行大模型的门槛。通过简单的命令行操作，开发者即可在个人电脑上体验 Llama2、Gemma 等主流开源模型的能力。结合其内置的 API 接口，Ollama 成为了构建本地 AI 应用、测试提示词工程以及探索大模型微调的理想工具。随着社区生态的丰富，更多模型和优化选项将持续加入，进一步拓展其在边缘计算场景的应用潜力。