Ollama 本地大语言模型部署与使用指南

• ollama ls: 显示拥有的模型。
• ollama rm <modelname>: 删除指定模型。
• ollama status: 查看模型状态及服务器运行情况。
• ollama logs: 查看模型日志，用于排查问题。
• ollama serve: 手动启动 Ollama 服务进程。
• ollama create: 基于 Modelfile 创建自定义模型。

API 集成

Ollama 提供了一个本地 REST API，允许外部应用程序通过 HTTP 请求与模型交互。默认监听端口为 11434。

调用示例

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Why is the sky blue?"
}'

此接口支持流式输出，适合构建实时对话应用。

LangChain 集成

Ollama 支持使用 LangChain 交互。使用 Llama3 为例：

准备工作

ollama pull llama3
pip install langchain langchain-ollama ollama

使用示例

from langchain_ollama import OllamaLLM
  
model = OllamaLLM(model="llama3")
  
response = model.invoke(input="What's up?")
print(response)
  
"""
Not much! Just an AI, waiting to chat with you. How about you? What's new and exciting in your world?
"""

开始一个简单对话：

from langchain_ollama import OllamaLLM  
from langchain_core.prompts import ChatPromptTemplate  
  
template = """  
User will ask you questions. Answer it.  
  
The history of this conversation: {context}  
  
Question: {question}  
  
Answer:
"""  
  
model = OllamaLLM(model="llama3")
prompt = ChatPromptTemplate.from_template(template)
chain = prompt | model  
  
def chat():
    context = ""
    print("Welcome to the AI Chatbot! Type 'exit' to quit.")
    while True:
        question = input("You: ")
        if question.lower() == "exit":
            break
        response = chain.invoke({"context":context, "question": question})
        print(f"AI: {response}")
        context += f"\nUser: {question}\nAI: {response}"  
  
chat()

Web 使用

除了命令行，还可以使用 Open WebUI 等前端界面来更好地管理模型和对话。

安装 Open WebUI

推荐使用 Docker 容器化部署 Open WebUI，以确保环境隔离和便捷更新。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，访问 http://localhost:3000 即可进入 Web 界面。首次登录可能需要设置管理员账号，之后即可连接本地 Ollama 服务进行对话。

结语

Ollama 作为本地运行语言模型的工具，不仅降低了对云端资源的依赖，还提高了数据处理的安全性和响应速度。它通过提供 REPL 环境、模型管理命令和与 LangChain 的交互能力，极大地丰富了用户与语言模型的交互方式。随着技术的不断发展，Ollama 有望进一步推动本地 AI 应用的普及和深入，为开发者和企业提供更多的可能性。

通过合理的硬件配置和正确的部署步骤，开发者可以在个人电脑上构建强大的私有化 AI 应用，无需担心数据隐私泄露或网络延迟问题。