Ollama：一条命令在本地运行 Llama2 等大模型

ollama create my-llama -f Modelfile
ollama run my-llama

API 集成

Ollama 提供了一个 HTTP API，方便开发者将其集成到自己的应用中。默认监听端口为 11434。

启动 API 服务

在 macOS 或 Linux 中，确保环境变量正确设置：

OLLAMA_HOST=0.0.0.0:11434 ollama serve

Python 调用示例

使用 Python 的 requests 库调用 Ollama API：

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama2',
        'prompt': '为什么天空是蓝色的？',
        'stream': False
    }
)

print(response.json()['response'])

流式输出示例

支持流式响应，适合构建聊天界面：

import requests

with requests.post('http://localhost:11434/api/chat', json={
    'model': 'llama2',
    'messages': [{'role': 'user', 'content': '你好'}],
    'stream': True
}, stream=True) as r:
    for line in r.iter_lines():
        if line:
            print(line.decode('utf-8'))

资源需求说明

不同规模的模型对硬件资源有不同的要求，建议参考以下配置：

• 3B 模型：需要至少 8GB 内存
• 7B 模型：需要至少 16GB 内存
• 13B 模型：需要至少 32GB 内存

如果内存不足，可以考虑量化版本（如 Q4_K_M）以降低资源消耗。

常见问题

1. 模型下载速度慢

Ollama 默认从官方源拉取模型，国内网络环境可能较慢。可以尝试配置代理或使用镜像源。

2. GPU 加速未生效

检查是否安装了正确的 CUDA 驱动（NVIDIA）或 Metal 支持（Apple Silicon）。Ollama 会自动检测可用硬件。

3. 端口被占用

如果 11434 端口已被占用，可通过环境变量指定其他端口：

OLLAMA_HOST=0.0.0.0:11435 ollama serve

总结

Ollama 以其轻量级、易部署的特点，成为本地运行大模型的首选工具之一。通过简单的命令即可启动推理服务，配合 API 接口可快速构建私有化 AI 应用。无论是开发者测试还是企业内网部署，Ollama 都提供了极大的便利。