本文介绍了在个人电脑上本地部署 Llama3 大模型的完整流程。首先通过 Ollama 框架安装并运行 Llama3 8B 模型，该版本针对消费级硬件优化，16G 内存即可流畅运行。接着使用 Node.js 部署 ollama-webui-lite 作为 Web 交互界面，支持模型切换、上下文管理及代码生成等功能。此外还涵盖了 API 调用方式及常见端口冲突、内存不足等问题的排查方法，帮助用户快速搭建私有化大模型环境。
Meta 在官方博客官宣了 Llama3，标志着人工智能领域迈向了一个重要的飞跃。经过个人体验，Llama3 8B 效果已经超越 GPT-3.5，最为重要的是，Llama3 是开源的，我们可以自己部署。
本文和大家分享一下如何在个人电脑上部署 Llama3，拥有你自己的私有化大模型服务。
很多读者担心本地部署时个人电脑的硬件配置不够，实际上这种担心是多余的。笔者使用的是 MacBook M2 Pro (2023 款)，主要硬件配置如下：
对于 Windows 或 Linux 用户，建议至少配备 16GB 内存和 SSD 硬盘，显卡非必须但能加速推理。
在开始之前，请确保你的系统已安装以下基础工具：
Ollama 是一个轻量级的本地大模型运行框架，可以简单理解为客户端，实现和大模型的交互。
前往 Ollama 官网下载对应操作系统的安装包。安装完成后打开终端，验证安装是否成功：
ollama --version
如果显示版本号，说明安装成功。安装过程中界面可能会提示 ollama run llama2，不需要执行这条命令，因为我们要安装的是 llama3。
打开新的终端窗口，执行以下命令拉取 Llama3 模型：
ollama run llama3
程序会自动下载 Llama3 的模型文件，默认是 8B 版本（80 亿参数）。该版本针对消费级硬件进行了量化优化，个人电脑完全可以流畅运行。
成功下载模型后会进入交互界面，我们可以直接在终端进行提问。例如输入 who are you?，Llama3 几乎是秒回答。
➜ Projects ollama run llama3
>>> who are you?
I'm LLaMA, a large language model trained by a team of researcher at Meta AI...
按 Ctrl + D 或输入 /bye 可退出当前会话。
支持 Ollama 的 WebUI 非常多，为了获得更好的用户体验，我们推荐部署基于 Node.js 的 WebUI 界面。
官方的 NPM 源国内访问速度较慢，推荐国内用户使用腾讯 NPM 源以提升依赖下载速度。
打开终端执行以下命令设置 NPM 使用腾讯源：
npm config set registry http://mirrors.cloud.tencent.com/npm/
检查 Node.js 和 npm 版本：
node -v
npm -v
我们将使用 ollama-webui-lite 项目进行部署，这是一个轻量级的 Web 界面。
打开终端，执行以下命令克隆仓库：
git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
在项目目录下安装 Node.js 依赖包：
npm install
此过程可能需要几分钟，取决于网络状况。
运行开发模式启动脚本：
npm run dev
启动成功后，终端会提示 WebUI 已在本地端口监听：
> [email protected] dev
> vite dev --host --port 3000
VITE v4.5.2 ready in 765 ms
➜ Local: http://localhost:3000/
打开浏览器访问 http://localhost:3000/。首次访问可能需要等待几秒钟加载资源。
在聊天框中输入问题，点击发送即可。Llama3 会实时生成回复。你可以尝试让它编写代码、翻译文本或总结文章。
例如，要求它编写一个 Golang Echo Server 的例子，响应速度非常快，通常在几秒内即可输出完整代码。
WebUI 支持切换不同的模型。点击右上角的设置图标，可以在下拉菜单中选择已下载的模型（如 llama3, mistral 等），前提是这些模型已通过 ollama pull 命令下载。
每次对话都会保留上下文记忆。如果需要清除历史记录，可以使用界面上的'清空对话'按钮，或者新建一个会话标签页。
除了 WebUI，Ollama 还提供了 REST API 接口，方便开发者集成到自己的应用中。
Ollama 默认监听 http://localhost:11434 端口。
可以通过 curl 命令直接调用 API：
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "你好，介绍一下你自己"
}'
这将返回模型的流式响应内容。
如果启动 WebUI 时报错 Port 3000 is already in use，说明有其他进程占用了该端口。可以修改 package.json 中的端口号，或使用 lsof -i :3000 查找并结束占用进程。
如果运行 Llama3 时出现 Out of Memory 错误，说明物理内存不足以支撑模型加载。建议关闭其他占用内存较大的应用，或尝试下载更小参数的模型（如 llama3:8b-q4_0）。
如果下载模型速度慢，可以尝试更换 NPM 镜像或检查网络连接。部分网络环境下可能需要代理才能访问 HuggingFace 或 Ollama 的模型仓库。
通过上述步骤，你已经成功在本地部署了 Llama3 大模型，并拥有了一个可视化的交互界面。这种方式不仅保护了数据隐私，还能在无网络环境下使用。随着硬件性能的提升，本地部署大模型将成为未来开发者的标配技能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online