本地运行 Llama3 极简教程

ollama run llama3

程序会自动下载权重文件，默认下载的是 llama3:8b。下载完成后，会提示 send a message ?，此时可以输入问题进行测试。

示例交互：

User: Hello, how are you?
Assistant: I am an AI assistant created by Meta. I can help you with various tasks...

使用 Web UI 界面

为了更直观地操作，可以采用开源项目 Open WebUI。该项目的 UI 和 ChatGPT 非常类似。

1. 拉取 Docker 镜像

假设你的电脑已经安装了 Docker，执行以下命令：

docker pull ghcr.io/ollama-webui/ollama-webui:main

2. 启动容器

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

注意：如果你遇到了连接问题，通常是因为 WebUI docker 容器无法访问容器内的 127.0.0.1:11434 (host.docker.internal:11434) 的 Ollama 服务器。使用 docker 命令中的 --network=host 标志来解决这个问题。注意端口从 3000 改为 8080，导致链接：http://localhost:8080。

3. 访问与配置

输入地址 http://localhost:8080 进行访问，初次访问需要注册账号。

进入设置后，你需要配置 Ollama 访问 URL（配置成 http://127.0.0.1:11434）并选择要使用的模型。

与 Python 结合使用

你也可以将 Ollama 与 Python 一起使用。LiteLLM 是一个 Python 库，它提供了一个统一的接口来与各种 LLM 进行交互，包括 Ollama 运行的 LLM。

LiteLLM 集成

首先需要安装依赖：

pip install litellm

代码示例：

from litellm import completion

response = completion(
    model="ollama/llama3",
    messages=[{ "content": "respond in 20 words. who are you?", "role": "user"}],
    api_base="http://localhost:11434"
)

print(response.choices[0].message.content)

LangChain 集成

LangChain 也提供了对 Ollama 的支持。

from langchain_community.llms import Ollama

llm = Ollama(model="llama3")
result = llm.invoke("Why is the sky blue?")
print(result)

LlamaIndex 集成

from llama_index.llms.ollama import Ollama

llm = Ollama(model="llama3")
response = llm.complete("Why is the sky blue?")
print(response.text)

常见问题与故障排除

1. 模型下载失败

如果下载过程中断，可以尝试删除本地缓存目录重新下载。Linux/Mac 通常在 ~/.ollama/models，Windows 在 %USERPROFILE%\.ollama\models。

2. 显存不足

如果运行 70B 模型时显存不足，建议切换到 8B 版本或使用量化版本。可以通过指定 tag 来运行特定版本，例如：

ollama run llama3:8b

3. 网络不通

在 Docker 环境中，确保 Ollama 服务端口（默认 11434）未被防火墙拦截。如果是跨容器通信，需确保 OLLAMA_HOST 环境变量正确配置。

总结

本文介绍了如何在本地环境通过 Ollama 快速部署和运行 Llama3 模型。涵盖了从基础安装、CLI 交互到 Web UI 界面以及 Python SDK 集成的完整流程。配合 WSL 和 CUDA 加速，可以在个人电脑上实现高效的大模型推理体验。