本地 LLM 模型与 Ollama、Python 集成实战

如果你正在开发 CLI 工具或需要更好的用户体验，流式输出（Streaming）是不错的选择。它能让文字逐个字符显示，而不是等待整个响应完成。

from ollama import chat

stream = chat(
    model="llama3.2:latest",
    messages=[{"role": "user", "content": "Explain Python dataclasses with a quick example."}],
    stream=True,
)

for chunk in stream:
    print(chunk.message.content, end='', flush=True)

注意这里使用了 end='' 来避免换行，同时设置 flush=True 确保实时输出。

一次性生成

对于不需要上下文的场景，比如摘要、重写或代码补全，generate() 更高效。

from ollama import generate

response = generate(
    model="llama3.2:latest",
    prompt="Explain what Python is in one sentence."
)
print(response.response)

利用这个接口，你还可以让模型编写代码。例如实现经典的 FizzBuzz 挑战：

prompt = """
Write a Python function fizzbuzz(n: int) -> List[str] that:
- Returns a list of strings for the numbers 1..n
- Uses "Fizz" for multiples of 3
- Uses "Buzz" for multiples of 5
- Uses "FizzBuzz" for multiples of both 3 and 5
- Raises ValueError if n < 1
Include type hints compatible with Python 3.8.
"""

response = generate(model="codellama:latest", prompt=prompt)
print(response.response)

拿到生成的代码后，记得检查逻辑并在 REPL 中快速验证，确保类型提示和边界条件处理正确。

工具调用增强能力

工具调用（Function Calling）允许模型在执行任务时调用外部函数，这比单纯依靠模型内部知识更可靠。这在 RAG 或需要精确计算的场景下特别有用。

要实现这一点，我们需要定义一个 Python 函数，并将其作为工具传递给模型。这里演示一个简单的平方根计算：

import math
from ollama import chat

def square_root(number: float) -> float:
    """Calculate the square root of a number."""
    return math.sqrt(number)

messages = [{"role": "user", "content": "What is the square root of 36?"}]

# 将函数作为工具传入
response = chat(
    model="llama3.2:latest",
    messages=messages,
    tools=[square_root]
)

# 检查模型是否调用了工具
if response.message.tool_calls:
    tool = response.message.tool_calls[0]
    result = square_root(float(tool.function.arguments["number"]))
    
    # 将工具结果作为新消息追加
    messages.append(response.message)
    messages.append({
        "role": "tool",
        "tool_name": tool.function.name,
        "content": str(result)
    })
    
    # 再次请求最终答案
    final_response = chat(model="llama3.2:latest", messages=messages)
    print(final_response.message.content)

在这个流程中，清晰的文档字符串和类型提示至关重要，它们能帮助模型准确判断何时以及如何调用该函数。如果模型没有触发工具调用，可以尝试更换更大的模型参数或优化提示词。

小结

通过上述步骤，我们已经完成了从环境搭建到实际集成的全过程。本地运行 LLM 不仅意味着更高的隐私安全性，也摆脱了对在线服务的依赖。掌握 chat、generate 以及工具调用机制，你就能根据项目需求定制专属的 AI 工作流，无论是构建智能助手还是自动化脚本，都能游刃有余。