Ollama 本地 CPU 部署开源大模型教程

1. 使用 ollama-python 库进行交互

首先安装官方库：

pip install ollama

然后编写代码进行对话：

import ollama

response = ollama.chat(
    model='qwen2',
    stream=False,
    messages=[{
        'role': 'user',
        'content': '段子赏析：我已经不是那个当年的穷小子了，我是今年的那个穷小子。'
    }]
)

print(response['message']['content'])

输出示例：

这个段子通过幽默的方式表达了对于个人经济状况的自嘲和幽默看待。在日常生活中，人们经常会遇到相似的自我调侃，尤其是在讨论个人财务或生活阶段变化时。这段话中的'已经不是当年的穷小子'暗示了过去某个时间点上的经济状况不佳，而'我是今年的那个穷小子'则将当前的情况与过去的困境相比较，强调了现在依然处于类似的经济挑战中。

2. 使用 OpenAI 接口交互

Ollama 完美支持 OpenAI 的 API 格式，这使得许多基于 OpenAI 接口开发的工具（如 LangChain、PandasAI）可以直接使用 Ollama 支持的免费开源模型替代 ChatGPT。

安装依赖

pip install openai

流式输出示例

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama', # 实际上本地模型不需要真实的 api_key
)

completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': '段子赏析：爱一个人的眼神是藏不住的，爱两个人就一定要藏住。',
        }
    ],
    model='qwen2',
    stream=True  # 启用流式输出
)

for chunk in completion:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end='', flush=True)

这种模式非常适合需要实时反馈的应用场景，例如聊天机器人界面。

四、Jupyter 魔法命令交互

在 Jupyter Notebook 中开发调试代码时，如果能直接通过魔法命令与 Ollama 交互，并且自动维护多轮对话的历史上下文，将极大提升开发体验。

我们可以通过自定义 IPython 魔法命令来实现这一功能。以下是一个完整的实现示例：

import sys
from IPython.core.magic import Magics, magics_class, line_magic
from IPython.core.interactiveshell import InteractiveShell

class OllamaMagic(Magics):
    def __init__(self, shell):
        super(OllamaMagic, self).__init__(shell)
        self.model = 'qwen2'
        self.history = []
        
    @line_magic('ollama')
    def chat(self, line):
        """魔法命令：ollama <query>"""
        query = line.strip()
        if not query:
            return "请输入问题"
        
        try:
            import ollama
            response = ollama.chat(
                model=self.model,
                messages=[{'role': 'user', 'content': query}] + self.history[-5:] if len(self.history) > 5 else [{'role': 'user', 'content': query}]
            )
            result = response['message']['content']
            self.history.append({'role': 'user', 'content': query})
            self.history.append({'role': 'assistant', 'content': result})
            return result
        except Exception as e:
            return f"错误：{str(e)}"

# 注册魔法命令
ip = get_ipython()
ip.register_magics(OllamaMagic)

使用方式：

%ollama 什么是人工智能？
%ollama 那深度学习呢？

这样可以在 Notebook 单元格中直接获得连续的对话结果，方便调试和记录。

五、常见问题与优化建议

1. 模型加载慢

如果在首次运行时下载模型较慢，请确保网络连接正常。部分模型较大（如 Llama3 7B），可能需要几分钟时间。可以通过 ollama pull 提前下载好模型。

2. 端口冲突

Ollama 默认监听 11434 端口。如果该端口被占用，可以在启动服务时指定环境变量 OLLAMA_HOST 来更改端口。

3. 内存不足

在 CPU 环境下运行大模型对内存要求较高。如果显存或内存不足，可以尝试选择参数量较小的模型（如 Phi3-mini 或 Qwen1.5-1.8B）。

4. 自定义 Modelfile

Ollama 允许通过 Modelfile 自定义模型参数，例如设置温度（temperature）、上下文窗口大小（num_ctx）等。创建 Modelfile 后使用 ollama create 命令生成新模型。

FROM qwen2
PARAMETER temperature 0.7
PARAMETER num_ctx 4096

六、总结

Ollama 为开发者提供了一个高效、便捷的本地大模型部署方案。通过本文的介绍，你可以掌握从安装、命令行操作到 Python 及 Jupyter 集成的全流程。结合其 OpenAI 兼容性，Ollama 成为了构建私有化 AI 应用的重要基础设施。