本地部署与运行 Llama3 模型实战指南

1. 开启 WSL: 在 PowerShell 中以管理员身份运行 wsl --install。
2. 安装 Ubuntu: 按照提示完成子系统安装并重启。
3. 安装 Ollama: 进入 Ubuntu 终端执行上述安装命令。

运行 Llama3 模型

安装完成后，打开终端输入以下命令启动模型：

ollama run llama3

程序会自动下载默认模型（llama3:8b）的权重文件。下载完成后，界面会提示 send a message?，此时即可输入问题进行交互测试。

使用 Web UI 进行可视化操作

为了获得更直观的体验，可以使用开源项目 Open WebUI。该项目的界面设计与 ChatGPT 类似，支持多轮对话、上下文管理等功能。

前提条件

确保您的电脑已安装 Docker。

拉取镜像

docker pull ghcr.io/ollama-webui/ollama-webui:main

启动容器

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

注意: 如果遇到连接问题，通常是因为 WebUI 容器无法访问宿主机上的 Ollama 服务。使用 --network=host 标志可以解决此网络隔离问题。访问地址默认为 http://localhost:8080。

初始化配置

首次访问需要注册账号。登录后，需在设置中配置 Ollama 访问 URL（通常为 http://127.0.0.1:11434）并选择要使用的模型。

开发者集成：Python 与 AI 框架

Ollama 提供了丰富的 API 接口，方便开发者将其集成到自己的应用中。

使用 LiteLLM

LiteLLM 提供了一个统一的接口来与各种 LLM 交互。

from litellm import completion

response = completion(
    model="ollama/llama3",
    messages=[{"role": "user", "content": "respond in 20 words. who are you?"}],
    api_base="http://localhost:11434"
)

print(response.choices[0].message.content)

使用 LangChain

LangChain 是构建 LLM 应用的流行框架。

from langchain_community.llms import Ollama

llm = Ollama(model="llama3")
result = llm.invoke("Why is the sky blue?")
print(result)

使用 LlamaIndex

LlamaIndex 专注于数据索引与检索增强生成 (RAG)。

from llama_index.llms.ollama import Ollama

llm = Ollama(model="llama3")
response = llm.complete("Why is the sky blue?")
print(response.text)

硬件加速：WSL 下安装 CUDA

如果您的显卡是 NVIDIA 品牌，可以在 WSL 中安装 CUDA 驱动来显著加速模型推理。

1. 确认驱动: 在 Windows 主机上安装最新版本的 NVIDIA 驱动。
2. WSL 配置: 确保 WSL2 版本已更新。
3. 安装 Toolkit: 参考官方文档在 Ubuntu 子系统中安装 CUDA Toolkit。

安装指南参考：GitHub - ashishpatel26/Cuda-installation-on-WSL2-Ubuntu-20.04-and-Windows11

常见问题排查

1. 端口冲突: 如果 11434 端口被占用，可在启动 Ollama 时指定其他端口，并在环境变量中同步修改。
2. 内存不足: 运行 70B 大模型需要大量显存，建议优先使用 8B 版本或减少并发请求。
3. 网络超时: 首次下载模型可能需要较长时间，请确保网络连接稳定。

通过以上步骤，您可以成功在本地搭建一个私有化的 Llama3 运行环境，实现数据的隐私保护与低成本推理。