Ollama 本地 CPU 部署开源大模型实战

pip install ollama

代码示例：

import ollama

response = ollama.chat(
    model='qwen2',
    messages=[{
        'role': 'user',
        'content': '请赏析这段文字：我已经不是那个当年的穷小子了，我是今年的那个穷小子。'
    }]
)

print(response['message']['content'])

2. 使用 OpenAI 兼容接口

Ollama 模拟了 OpenAI Chat Completions API，允许使用 openai 库连接本地服务。

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama'  # 本地部署无需真实 Key
)

completion = client.chat.completions.create(
    model='qwen2',
    messages=[{
        'role': 'user',
        'content': '爱一个人的眼神是藏不住的，爱两个人就一定要藏住。'
    }],
    stream=True
)

for chunk in completion:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end='', flush=True)

错误处理建议： 在实际开发中，应增加异常捕获机制以应对网络波动或服务不可用情况：

try:
    response = ollama.chat(model='qwen2', messages=[...])
except Exception as e:
    print(f"请求失败：{e}")

五、Jupyter Notebook 魔法命令集成

在 Jupyter 环境中，可以通过自定义魔法命令实现多轮对话上下文管理，提升调试效率。

1. 自定义 Magic Class

以下代码定义了一个 Ollama 类，支持自动维护对话历史：

import sys
from IPython.core.magic import magics_class, line_cell_magic
from IPython.display import display, clear_output
from openai import OpenAI

class Ollama:
    def __init__(self, model='qwen2', max_chat_rounds=20, stream=True):
        self.model = model
        self.history = []
        self.max_chat_rounds = max_chat_rounds
        self.stream = stream
        self.register_magic()

    def build_messages(self, query=None, history=None, system=None):
        messages = []
        if system:
            messages.append({'role': 'system', 'content': system})
        for prompt, response in (history or []):
            messages.extend([{'role': 'user', 'content': prompt}, 
                            {'role': 'assistant', 'content': response}])
        if query:
            messages.append({'role': 'user', 'content': query})
        return messages

    def chat(self, messages, stream=True):
        client = OpenAI(base_url='http://localhost:11434/v1/', api_key='ollama')
        return client.chat.completions.create(messages=messages, model=self.model, stream=stream)

    def __call__(self, query):
        if len(self.history) >= self.max_chat_rounds + 1:
            self.history = self.history[-self.max_chat_rounds:]
        messages = self.build_messages(query=query, history=self.history)
        
        if not self.stream:
            completion = self.chat(messages, stream=False)
            response = completion.choices[0].message.content
            self.history.append((query, response))
            return response

        completion = self.chat(messages, stream=True)
        response = ""
        for chunk in completion:
            content = chunk.choices[0].delta.content
            if content:
                response += content
                clear_output(wait=True)
                print(response)
        self.history.append((query, response))
        return response

    def register_magic(self):
        from IPython.core.magic import Magics, magics_class, line_cell_magic
        @magics_class
        class ChatMagics(Magics):
            def __init__(self, shell, pipe):
                super().__init__(shell)
                self.pipe = pipe
            @line_cell_magic
            def chat(self, line, cell=None):
                if cell is None:
                    return self.pipe(line)
                else:
                    return self.pipe(cell)
        ipython = get_ipython()
        magic = ChatMagics(ipython, self)
        ipython.register_magics(magic)

2. 使用方式

初始化后，即可在 Notebook 中使用 %chat 魔法命令：

%chat 你好，我们来聊聊编程。

该实现会自动将当前对话加入上下文，支持多轮交流，直到达到最大轮数限制。

六、进阶优化与注意事项

1. 性能调优

• 线程数控制：可通过环境变量 OLLAMA_NUM_THREADS 调整 CPU 推理线程数，避免占用过多资源。
• 上下文窗口：根据显存/CPU 内存大小调整 num_ctx 参数，平衡长文本处理能力与响应速度。

2. 安全性

• 本地部署确保数据不出内网，适合处理敏感信息。
• 若需对外暴露服务，务必配置防火墙限制访问 IP，防止滥用。

3. 常见问题排查

• 端口冲突：确认 11434 端口未被占用。
• 模型加载慢：首次运行会下载模型权重，建议提前 pull 至本地。
• 内存溢出：减少并发请求或降低模型参数量级。

七、总结

Ollama 为本地运行开源大模型提供了便捷方案，尤其适合 CPU 环境下的开发与测试。通过 Python 接口和 Jupyter 集成，开发者可以灵活构建 AI 应用原型。结合 Modelfile 自定义配置，还能进一步优化模型行为以满足特定业务需求。