本地 LLM 模型与 Ollama、Python 集成实战

对于命令行界面或实时应用，流式输出（Streaming）能提升体验。设置 stream=True 后，chat() 返回迭代器，可逐步打印响应：

stream = chat(
    model="llama3.2:latest",
    messages=[{"role": "user", "content": "Explain Python dataclasses."}],
    stream=True,
)
for chunk in stream:
    print(chunk.message.content, flush=True)

文本与代码生成

若无需维护上下文，generate() 更适合一次性任务，如摘要或重写。

from ollama import generate

response = generate(
    model="llama3.2:latest",
    prompt="Explain what Python is in one sentence."
)
print(response.response)

该接口同样适用于代码生成。例如，让 codellama 编写 FizzBuzz 挑战的实现：

prompt = """Write a Python function fizzbuzz(n: int) -> List[str] that:
- Returns a list of strings for numbers 1..n
- Uses "Fizz" for multiples of 3
- Uses "Buzz" for multiples of 5
- Includes type hints compatible with Python 3.8."""

response = generate(model="codellama:latest", prompt=prompt)
print(response.response)

生成代码后建议进行快速测试，确保逻辑无误。

进阶功能：工具调用

工具调用（Function Calling）允许模型调用 Python 函数，将结果作为上下文反馈，从而获得更精准的答案。这常用于检索增强生成（RAG）场景。

确保使用的模型支持此功能（如 llama3.2:latest）。基本流程为：定义工具 -> 发送请求 -> 执行工具 -> 返回结果 -> 生成最终答案。

以下示例演示如何定义一个计算平方根的函数并传递给模型：

import math
from ollama import chat

def square_root(number: float) -> float:
    """Calculate the square root of a number."""
    return math.sqrt(number)

messages = [{"role": "user", "content": "What is the square root of 36?"}]
response = chat(
    model="llama3.2:latest",
    messages=messages,
    tools=[square_root]
)

messages.append(response.message)
if response.message.tool_calls:
    tool = response.message.tool_calls[0]
    result = square_root(float(tool.function.arguments["number"]))
    messages.append({
        "role": "tool",
        "tool_name": tool.function.name,
        "content": str(result),
    })

final_response = chat(model="llama3.2:latest", messages=messages)
print(final_response.message.content)

清晰的文档字符串和类型提示有助于模型理解工具用途。若模型未调用工具，可尝试调整提示词或使用更大参数量的模型。

结语

通过 Ollama 与 Python SDK 的结合，我们实现了本地 LLM 的完整工作流。从安装配置到聊天交互、代码生成，再到工具调用，这套方案不仅保护了数据隐私，还降低了对外部服务的依赖。掌握这些技能，即可开始设计原型，构建经济高效且完全离线的 AI 驱动应用。