Ollama 本地 CPU 部署开源大模型

首先安装官方库：

pip install ollama

示例代码：

import ollama

response = ollama.chat(
    model='qwen2',
    stream=False,
    messages=[{
        'role': 'user',
        'content': '请简述人工智能的基本定义。'
    }]
)

print(response['message']['content'])

该库封装了底层 HTTP 请求，返回结构化的 JSON 响应，适合大多数应用场景。

2. 使用 OpenAI 接口交互

Ollama 兼容 OpenAI 的 Chat Completions API 格式。这意味着许多基于 OpenAI SDK 开发的工具（如 LangChain、PandasAI）可以直接接入 Ollama，无需修改核心逻辑。

安装依赖：

pip install openai

流式输出示例：

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama', # 本地模型通常不需要真实 API Key
)

completion = client.chat.completions.create(
    model='qwen2',
    messages=[{
        'role': 'user',
        'content': '解释一下什么是 Transformer 架构？'
    }],
    stream=True
)

for chunk in completion:
    if chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end='', flush=True)

这种方式的灵活性极高，便于集成现有的 AI 应用生态。

Jupyter 魔法命令交互

在 Jupyter Notebook 中开发时，自定义魔法命令可以极大提升体验。通过继承 IPython 的 Magics 类，可以实现类似 %chat 的命令，自动维护多轮对话历史。

以下是一个完整的实现示例：

import sys
from IPython.core.magic import (Magics, magics_class, line_magic)
from IPython import get_ipython

class OllamaChat(Magics):
    def __init__(self, ipython):
        super(OllamaChat, self).__init__(ipython)
        self.history = []
        self.model = 'qwen2'

    @line_magic
    def chat(self, line):
        query = line.strip()
        if not query:
            return "请输入对话内容"
        
        self.history.append({'role': 'user', 'content': query})
        
        try:
            import ollama
            response = ollama.chat(
                model=self.model,
                messages=self.history,
                stream=False
            )
            content = response['message']['content']
            self.history.append({'role': 'assistant', 'content': content})
            return content
        except Exception as e:
            return f"Error: {str(e)}"

# 注册魔法命令
ip = get_ipython()
magic = OllamaChat(ip)
ip.register_magics(magic)

注册后，在 Notebook 单元格中直接输入 %chat 你好 即可与模型对话，且历史记录会自动保留在当前会话中。

性能与安全考量

CPU 推理效率

虽然 GPU 能显著提升推理速度，但在 CPU 上运行 Ollama 依然具备实用价值。对于中小参数量的模型（如 7B 以下），现代 CPU 的推理延迟通常在可接受范围内。若需更高性能，建议启用 AVX/AVX2 指令集优化。

数据隐私

本地部署的核心优势在于数据不出域。所有 Prompt 和 Response 均存储在本地内存或磁盘，不会上传至第三方服务器。这对于处理企业机密或个人隐私数据至关重要。

资源管理

• 内存: 模型加载需要足够的 RAM。7B 模型通常需要 8GB+ 内存。
• 磁盘: 模型文件占用空间较大，建议预留 10GB+ 空间。
• 并发: 单个实例通常只支持有限并发，生产环境建议配合反向代理负载均衡。

常见问题排查

1. 模型下载失败: 检查网络连接，尝试更换镜像源或手动下载模型文件。
2. 端口被占用: 默认端口 11434 可能被其他服务占用，可通过环境变量 OLLAMA_HOST 修改。
3. 显存不足: 即使使用 CPU，部分量化版本仍需少量显存辅助，确保系统资源充足。
4. API 连接错误: 确认 Ollama 服务已启动 (ollama serve)，并检查防火墙设置。

总结

Ollama 为开发者提供了一个便捷的本地大模型运行环境。通过命令行、Python 库及 Jupyter 扩展，用户可以灵活地集成开源模型到自己的工作流中。结合其 OpenAI 兼容性，Ollama 成为替代云端付费 API 的理想选择，尤其适合注重隐私、成本控制及离线能力的场景。