本地 LLM 模型与 Ollama、Python 集成实战

若需构建 CLI 或聊天应用，开启流式传输能让响应更流畅：

from ollama import chat

stream = chat(
    model="llama3.2:latest",
    messages=[{"role": "user", "content": "Explain Python dataclasses with a quick example."}],
    stream=True
)

for chunk in stream:
    print(chunk.message.content, flush=True)

一次性文本与代码生成

对于不需要上下文的草稿撰写或代码生成，generate() 更为合适。

from ollama import generate

response = generate(
    model="llama3.2:latest",
    prompt="Explain what Python is in one sentence."
)
print(response.response)

利用 codellama:latest 可以生成特定逻辑的代码，例如 FizzBuzz 挑战：

from ollama import generate

prompt = """Write a Python function fizzbuzz(n: int) -> List[str] that:
- Returns a list of strings for the numbers 1..n
- Uses "Fizz" for multiples of 3
- Uses "Buzz" for multiples of 5
- Uses "FizzBuzz" for multiples of both 3 and 5"""

response = generate(model="codellama:latest", prompt=prompt)
print(response.response)

工具调用增强

工具调用允许模型执行 Python 函数并将结果作为上下文，常用于检索增强生成 (RAG)。这依赖于模型本身的支持能力，llama3.2:latest 支持此功能。

基本流程是定义函数、发送工具定义、执行函数并将结果作为 role="tool" 的消息返回。

import math
from ollama import chat

def square_root(number: float) -> float:
    """Calculate the square root of a number."""
    return math.sqrt(number)

messages = [{"role": "user", "content": "What is the square root of 36?"}]

response = chat(
    model="llama3.2:latest",
    messages=messages,
    tools=[square_root]
)

messages.append(response.message)
if response.message.tool_calls:
    tool = response.message.tool_calls[0]
    result = square_root(float(tool.function.arguments["number"]))
    messages.append({
        "role": "tool",
        "tool_name": tool.function.name,
        "content": str(result)
    })

final_response = chat(model="llama3.2:latest", messages=messages)
print(final_response.message.content)

清晰的文档字符串和类型提示有助于模型理解如何调用工具。如果模型未调用工具，尝试调整提示词或使用更大的模型。

在本地运行 LLM 对隐私、成本控制和离线可靠性至关重要。掌握这些技能，就可以开始设计原型、构建和发布 AI 驱动的应用程序，而无需依赖外部在线服务。通过不断尝试提示、响应流和自定义工具，可以根据项目需求定制本地 LLM 工作流程。