本地 LLM 模型与 Ollama 及 Python 集成实战

Ollama Python 库提供了两个主要工具与本地模型交互：

1. ollama.chat()：用于基于角色的多轮对话，适合构建具有上下文信息的助手。
2. ollama.generate()：用于生成一次性提示，适用于草稿撰写、总结或代码生成。

聊天界面互动

以下是一个最小化的聊天示例：

from ollama import chat

messages = [
    {
        "role": "user",
        "content": "Explain what Python is in one sentence.",
    },
]
response = chat(model="llama3.2:latest", messages=messages)
print(response.message.content)

这里需要注意几点：

• messages 是字典列表，因为聊天是为多轮对话设计的。
• 每条消息包含 role 和 content 键。
• 调用 chat() 返回 ChatResponse 对象，通过 response.message.content 获取回复。

为了保持上下文，可以将模型的回复追加到消息列表中，提出后续问题。例如围绕 Python 列表推导式展开对话：

messages = [
    {"role": "system", "content": "You are an expert Python tutor."},
    {
        "role": "user",
        "content": "Define list comprehensions in a sentence."
    },
]
response = chat(model="llama3.2:latest", messages=messages)
print(response.message.content)

# 保持上下文
messages.append(response.message)
messages.append(
    {
        "role": "user",
        "content": "Provide a short, practical example."
    }
)
response = chat(model="llama3.2:latest", messages=messages)
print(response.message.content)

在这个例子中，我们将之前的答案加入消息列表，模型便能基于此上下文提供具体的代码示例。

如果您正在构建命令行界面或聊天应用，流式传输（streaming）能让响应更具交互性：

from ollama import chat

stream = chat(
    model="llama3.2:latest",
    messages=[{
        "role": "user",
        "content": "Explain Python dataclasses with a quick example."
    }],
    stream=True,
)

for chunk in stream:
    print(chunk.message.content, flush=True)

关键在于 stream=True 参数。这将使 chat() 返回迭代器，逐步打印部分响应，无需等待完整结果。

文本生成接口

若不需要维护对话上下文，generate() 函数更适合一次性任务：

from ollama import generate

response = generate(
    model="llama3.2:latest",
    prompt="Explain what Python is in one sentence."
)
print(response.response)

此函数也常用于代码生成。假设需要实现 FizzBuzz 挑战：

from ollama import generate

prompt = '''
Write a Python function fizzbuzz(n: int) -> List[str] that:
- Returns a list of strings for the numbers 1..n
- Uses "Fizz" for multiples of 3
- Uses "Buzz" for multiples of 5
- Uses "FizzBuzz" for multiples of both 3 and 5
- Raises ValueError if n < 1
Include type hints compatible with Python 3.8.
'''

response = generate(model="codellama:latest", prompt=prompt)
print(response.response)

模型生成代码后，建议检查并测试。将生成的代码复制到 REPL 中调用：

from typing import List

def fizzbuzz(n: int) -> List[str]:
    if n < 1:
        raise ValueError("n must be greater than or equal to 1")
    result = []
    for i in range(1, n+1):
        if i % 3 == 0 and i % 5 == 0:
            result.append("FizzBuzz")
        elif i % 3 == 0:
            result.append("Fizz")
        elif i % 5 == 0:
            result.append("Buzz")
        else:
            result.append(str(i))
    return result

fizzbuzz(16)

输出应为 ['1', '2', 'Fizz', '4', 'Buzz', ...]。您可以尝试其他提示词，让模型构建辅助函数或类。

高级功能：工具调用

工具调用（Function Calling）允许模型调用 Python 函数，并将结果作为上下文，从而提供更准确的响应。这项技术可用于检索增强生成（RAG）。

工作流程

1. 将相关工具定义为 Python 函数。
2. 将工具和提示词一起发送。
3. 在代码中执行所选工具。
4. 将执行结果作为 role="tool" 消息附加。
5. 使用工具结果生成最终答案。

注意：此功能取决于模型支持情况，请确保使用已知支持工具调用的模型（如 llama3.2:latest）。

实现示例

定义一个简单的数学函数作为工具：

import math
from ollama import chat

def square_root(number: float) -> float:
    """Calculate the square root of a number."""
    return math.sqrt(number)

messages = [{"role": "user", "content": "What is the square root of 36?"}]

response = chat(
    model="llama3.2:latest",
    messages=messages,
    tools=[square_root]
)

messages.append(response.message)
if response.message.tool_calls:
    tool = response.message.tool_calls[0]
    # 调用实际函数
    result = square_root(float(tool.function.arguments["number"]))
    
    # 将结果作为工具消息返回给模型
    messages.append({
        "role": "tool",
        "tool_name": tool.function.name,
        "content": str(result),
    })

final_response = chat(model="llama3.2:latest", messages=messages)
print(final_response.message.content)

在定义工具时，清晰的文档字符串和类型提示能帮助模型决定如何调用。运行脚本后，模型应能正确利用工具结果给出答案。

若未看到工具调用输出，可能是模型决定直接回答，或者提示词不够明确。此时可尝试调整提示词或使用更大的模型。

结语

我们已在本地安装了 Ollama，导入了语言模型，并通过 ollama 库将其连接到 Python。通过探索聊天和文本生成接口，学习了如何维护对话上下文、流式传输回复以及利用工具调用扩展能力。

在本地运行 LLM 对隐私、成本控制和离线可靠性至关重要。掌握这些技能，您就能设计原型、构建并发布 AI 驱动的应用程序，而无需依赖外部在线服务。不断尝试提示词、响应流和自定义工具，根据项目需求定制本地 LLM 工作流程。