Ollama 本地 CPU 部署开源大模型指南

支持流式输出：

stream = ollama.chat(
    model='qwen2',
    messages=[{'role': 'user', 'content': '写一首关于春天的诗'}],
    stream=True
)

for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

2. 使用 OpenAI 兼容接口

许多基于 OpenAI API 开发的工具（如 LangChain、PandasAI）可以直接连接 Ollama，无需修改代码逻辑。

安装 OpenAI 库：

pip install openai

配置客户端：

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama'  # 本地部署通常不需要真实 Key
)

completion = client.chat.completions.create(
    model='qwen2',
    messages=[
        {'role': 'user', 'content': '分析这段代码的性能问题...'}
    ],
    stream=True
)

for chunk in completion:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end='')

这种方式使得迁移云端模型到本地私有化部署变得非常简单。

四、Jupyter Notebook 魔法命令交互

在 Jupyter Notebook 中开发时，可以通过自定义魔法命令实现与 Ollama 的多轮对话交互，并自动维护上下文历史。

以下是一个完整的实现示例，定义了一个 Ollama 类并注册为 IPython 魔法命令：

import sys
from IPython.core.magic import Magics, magics_class, line_magic
from IPython.display import display, clear_output
import ollama

class OllamaMagics(Magics):
    def __init__(self, ipython, model='qwen2'):
        super().__init__(ipython)
        self.model = model
        self.history = []

    @line_magic
    def ollama(self, line):
        query = line.strip()
        if not query:
            return "请输入对话内容"
        
        # 构建消息历史
        messages = [{'role': 'system', 'content': '你是一个有帮助的助手。'}]
        for msg in self.history:
            messages.append(msg)
        messages.append({'role': 'user', 'content': query})
        
        try:
            response = ollama.chat(model=self.model, messages=messages, stream=False)
            answer = response['message']['content']
            self.history.append({'role': 'user', 'content': query})
            self.history.append({'role': 'assistant', 'content': answer})
            return answer
        except Exception as e:
            return f"错误：{str(e)}"

# 注册魔法命令
ip = get_ipython()
ip.register_magics(OllamaMagics)

使用方式：

%ollama 解释一下 Transformer 架构

该实现支持多轮对话记忆，适合在 Notebook 中进行交互式调试和学习。

五、自定义模型配置 (Modelfile)

Ollama 允许用户通过 Modelfile 自定义模型行为，包括设置系统提示词、调整参数等。

1. 创建 Modelfile 文件：

FROM qwen2
SYSTEM "你是一个专业的 Python 编程助手。"
PARAMETER temperature 0.7
PARAMETER num_ctx 4096

2. 创建模型：

ollama create my-python-assistant -f Modelfile

3. 运行自定义模型：

ollama run my-python-assistant

这允许开发者针对特定任务优化模型响应风格，而无需微调底层权重。

六、性能优化建议

在 CPU 环境下运行大模型时，合理配置参数能显著提升推理速度。

1. 线程数控制： 设置环境变量 OLLAMA_NUM_THREADS 限制使用的 CPU 核心数，避免占用过多资源影响其他应用。

   export OLLAMA_NUM_THREADS=4
   

2. 显存/内存管理： 虽然主要使用 CPU，但部分模型层可能利用 GPU 加速。确保 num_gpu 参数设置正确。

3. 量化版本选择： 优先选择量化版本（如 Q4_K_M），在保持精度的同时减少内存占用和计算延迟。

4. 并发请求： Ollama 默认支持并发请求，但在高负载下建议增加 max_running_requests 配置。

七、总结

Ollama 为本地部署开源大模型提供了便捷的工具链。通过本文介绍的安装、CLI 交互、Python 集成及自定义配置方法，开发者可以快速构建私有化的 AI 应用环境。结合 OpenAI 兼容性，现有的云端应用也能平滑迁移至本地，保障数据隐私并降低 API 成本。随着硬件性能的提升，CPU 推理的效率将进一步提高，Ollama 将成为边缘计算和本地 AI 开发的重要基础设施。

在实际使用中，建议根据具体任务选择合适的模型大小和量化级别，平衡性能与效果。对于更复杂的需求，可结合 Docker 容器化部署，实现环境隔离与版本管理。