本文详细讲解了如何在个人电脑上本地部署 Llama3 8B/70B 大模型。内容涵盖硬件环境评估、Ollama 安装、WSL 与 Docker Desktop 配置、Open WebUI 容器化部署及模型管理。通过命令行操作实现 GPU 加速推理，并提供 API 调用示例与常见问题排查方案。本地部署方案有效保障了数据隐私，降低了延迟，适合开发者构建私有化 AI 应用。
Llama3 是 Meta 公司最新发布的大型语言模型系列，在开源社区引起了广泛关注。特别是其 8B（80 亿参数）版本，在多项基准测试中性能已超越 GPT-3.5，且由于采用开源协议，用户可以在自己的硬件环境下进行私有化部署，实现数据不出本地的 AI 应用。
本文详细介绍如何在个人电脑上部署 Llama3，包括环境准备、Ollama 安装、Docker 配置以及 Open WebUI 的搭建与使用。
很多读者担心本地部署对硬件要求过高，实际上根据模型量化级别不同，需求有所差异。对于 Llama3-8B 模型，建议配置如下：
注意：Llama3-70B 模型对显存要求极高，建议配备双卡或多卡服务器（如 A100/H100）或使用高量化等级（如 Q4_K_M）在消费级显卡上尝试，但体验可能受限。
Ollama 是一个轻量级的工具，用于在本地运行大型语言模型，支持 Windows、macOS 和 Linux。
访问 Ollama 官网下载对应系统的安装包。Windows 用户直接下载 .exe 文件。
.exe 文件。Install 开始安装。打开终端（Terminal 或 CMD），输入以下命令检查版本：
ollama --version
如果输出版本号，说明安装成功。
为了获得更好的容器运行体验，建议在 Windows 上启用 WSL2 并安装 Docker Desktop。
注意：首次启动可能需要注册账号，若仅需本地开发可跳过登录步骤。
Open WebUI 是一个基于 Web 的界面，允许用户通过浏览器与 Ollama 交互，提供类似 ChatGPT 的体验。
打开 PowerShell 或 CMD，复制以下命令运行。该命令将拉取镜像并映射端口。
GPU 模式（推荐）：
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
CPU 模式：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-p 3000:8080：将容器 8080 端口映射到宿主机的 3000 端口。--gpus=all：启用所有 GPU 资源（仅限 GPU 模式）。-v ollama:/root/.ollama：挂载卷以持久化 Ollama 模型数据。安装完成后，打开浏览器访问 http://127.0.0.1:3000。
首次访问会提示创建账户，输入用户名和密码即可进入聊天界面。
进入设置页面（齿轮图标），找到 Language 选项，选择 Chinese 并保存，界面将切换为中文。
llama3。llama3:8b 版本（适合大多数消费级显卡）。提示：70B 版本体积较大，下载时间较长，请确保网络稳定。
在聊天主界面顶部下拉框中，选择 llama3:8b。此后发送的消息将由该模型处理。
除了 WebUI，Ollama 也提供 API 接口供开发者集成。例如使用 curl 测试：
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "你好，介绍一下你自己。"
}'
如果提示端口 3000 被占用，可在 docker 命令中修改 -p 参数，例如改为 -p 3001:8080。
docker info | grep -i gpu 查看）。llama3:8b-q4_k_m），牺牲少量精度换取速度提升。本地部署的最大优势在于数据隐私。请避免将 WebUI 暴露在公网，默认仅监听 localhost。如需远程访问，务必配置 SSH 隧道或反向代理并开启认证。
通过上述步骤，您已成功在本地构建了属于自己的 Llama3 大模型环境。后续可根据实际需求探索 LangChain 等框架进行应用开发。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online