Meta 在官方博客官宣了 Llama3,标志着人工智能领域迈向了一个重要的飞跃。经过个人体验,Llama3 8B 效果已经超越 GPT-3.5,最为重要的是,Llama3 是开源的,我们可以自己部署。
本文和大家分享一下如何在个人电脑上部署 Llama3,拥有你自己的私有化大模型服务。
很多读者担心本地部署时个人电脑的硬件配置不够,实际上这种担心是多余的。笔者使用的是 MacBook M2 Pro (2023 款),主要硬件配置如下:
- 10 核 CPU
- 16G 内存
对于 Windows 或 Linux 用户,建议至少配备 16GB 内存和 SSD 硬盘,显卡非必须但能加速推理。
环境准备
在开始之前,请确保你的系统已安装以下基础工具:
- 终端/命令行:macOS 和 Linux 自带,Windows 推荐使用 WSL2 或 Git Bash。
- Node.js:用于运行 WebUI 前端服务。建议使用 LTS 版本(如 v18+)。
- Git:用于克隆项目代码。
安装 Ollama
Ollama 是一个轻量级的本地大模型运行框架,可以简单理解为客户端,实现和大模型的交互。
1. 下载与安装
前往 Ollama 官网下载对应操作系统的安装包。安装完成后打开终端,验证安装是否成功:
ollama --version
如果显示版本号,说明安装成功。安装过程中界面可能会提示 ollama run llama2,不需要执行这条命令,因为我们要安装的是 llama3。
2. 拉取模型
打开新的终端窗口,执行以下命令拉取 Llama3 模型:
ollama run llama3
程序会自动下载 Llama3 的模型文件,默认是 8B 版本(80 亿参数)。该版本针对消费级硬件进行了量化优化,个人电脑完全可以流畅运行。
成功下载模型后会进入交互界面,我们可以直接在终端进行提问。例如输入 who are you?,Llama3 几乎是秒回答。
➜ Projects ollama run llama3
>>> who are you?
I'm LLaMA, a large language model trained by a team of researcher at Meta AI...
按 Ctrl + D 或输入 /bye 可退出当前会话。
安装 Node.js
支持 Ollama 的 WebUI 非常多,为了获得更好的用户体验,我们推荐部署基于 Node.js 的 WebUI 界面。
1. 设置 NPM 镜像
官方的 NPM 源国内访问速度较慢,推荐国内用户使用腾讯 NPM 源以提升依赖下载速度。
打开终端执行以下命令设置 NPM 使用腾讯源:
npm config set registry http://mirrors.cloud.tencent.com/npm/
2. 验证安装
检查 Node.js 和 npm 版本:
node -v
npm -v
部署 WebUI
我们将使用 ollama-webui-lite 项目进行部署,这是一个轻量级的 Web 界面。
1. 克隆项目
打开终端,执行以下命令克隆仓库:
git https://github.com/ollama-webui/ollama-webui-lite.git
ollama-webui-lite


