Llama3-8B 本地部署：vLLM 和 Open-WebUI 直装方案

为什么是 Llama3-8B

本地跑大模型，最先撞上的通常不是'模型够不够强'，而是显存、速度和折腾成本。Meta-Llama-3-8B-Instruct 的好处在于，它把门槛压得比较低：80 亿参数，单卡可跑，指令遵循也比很多同级模型更稳，8k 上下文和 Apache 2.0 许可也都够实用。

别被'80 亿'吓住。fp16 完整模型大约要 16GB 显存，换成 GPTQ-INT4 量化后，4GB 左右就能启动。也就是说，RTX 3060 这类 12GB 卡就能把推理任务扛起来，消费级机器不再只是'能加载'，而是真的能聊。

它比较适合这几类场景：

英文指令问答、代码重构、注释生成
长文摘要和文档问答
日常技术助手，或者轻量级代码协作者

中文当然不是它的强项，但配合合适的提示词，日常问答和文案润色已经够用。要拿它直接做高质量中文写作，不太现实；如果目标是'能用、稳定、别太折腾'，它很合适。

为什么我更偏向 vLLM + Open-WebUI

模型选对了，体验也未必好。启动慢、响应慢、界面难用，这些问题最后都会落到日常使用上。

vLLM 负责推理层，重点是吞吐和延迟。它用 PagedAttention 和连续批处理把显存利用率拉高，多个请求并发时也不容易乱掉。Open-WebUI 则负责交互层，界面干净，支持会话管理、历史记录、自定义系统提示词，上传 PDF 或 Markdown 这类文件也比较顺手。

这里真正省事的地方，不是'功能多'，而是这套组合已经被做成了预置镜像。镜像里模型、vLLM、Open-WebUI 和接口都已经连好，不需要你再去配反向代理、对齐 config，甚至不用先理解一堆启动参数。对多数人来说，这比自己拼装稳得多。

部署过程

先确认机器和环境

先看硬件。NVIDIA 显卡是前提，12GB 显存比较稳。系统里需要 Docker 和 NVIDIA Container Toolkit，版本太老的话，后面跑 GPU 容器容易出莫名其妙的问题。

Ubuntu 上装 Docker 可以直接用：

curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER

然后重新登录终端，或者执行 newgrp docker 让权限生效。

再装 NVIDIA Container Toolkit，让 Docker 能看到 GPU：

curl -sL https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(.
 /etc/os-release;echo $ID$VERSION_ID)
curl -sL https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker

验证时直接跑：

docker run --rm --gpus all nvidia/cuda:12.1.1-runtime-ubuntu22.04 nvidia-smi

能看到显卡信息，说明这一步过了。

启动镜像

镜像已经放在公开仓库里，直接拉就行，不需要本地构建：

docker run -d \
  --name llama3-vllm-webui \
  --gpus all \
  -p 7860:7860 \
  -p 8000:8000 \
  -v $(pwd)/models:/app/models \
  -v $(pwd)/data:/app/data \
  --shm-size=1g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  ghcr.io/kakajiang/llama3-8b-vllm-openwebui:latest

几个参数不用记太细，常用的就这几个：

-p 7860:7860：Open-WebUI 入口，浏览器打开 http://localhost:7860
-p 8000:8000：vLLM 的 API 端口
-v $(pwd)/models:/app/models：挂载本地模型目录，后面替换模型方便
--gpus all：把 GPU 交给容器

启动后看日志：

docker logs -f llama3-vllm-webui

看到 Application startup complete 和 vLLM engine started，就可以进网页了。首次启动通常要等几分钟，主要卡在模型下载。

打开网页就能聊

浏览器访问 http://localhost:7860，会看到登录页。预置账号如下：

账号：[email protected] 密码：kakajiang

登录后直接试一个稍微完整点的问题，比如：

请用中文解释什么是 Attention 机制，并用一个生活中的例子类比，最后用 Python 伪代码示意核心计算步骤。

如果模型和提示词都正常，回答会比较规整，结构也不会太散。Open-WebUI 里还能继续上传 PDF、改系统提示词，这些都是日常会用到的功能，不花哨，但顺手。

常见问题和一些取舍

显存不够时，先别急着换卡

即便是 GPTQ-INT4，长上下文或者并发上来以后，还是可能碰到 OOM。这时候先看两个方向：限制并发，或者减少重复前缀的计算。

镜像默认已经开了这些参数：

--max-num-seqs 16
--enable-prefix-caching

前者是控制最大并发请求数，后者是缓存重复前缀，系统提示词这类固定内容就不会每次都重算。实际使用里，这比盲目加大上下文更靠谱。单次输入尽量别把 token 拉得太满，6k 左右会比较稳。

中文效果一般，靠提示词补一点

Llama3-8B 对英文明显更熟，中文不是不能用，只是别指望它天然就很会。比较实用的做法有三个：

在系统提示词里把角色和输出要求说清楚，比如'你是一位精通中英双语的技术文档工程师，所有回答必须用中文，术语准确，句式简洁。'
关键问题先用英文问，再把结果翻成中文。这个办法不优雅，但在一些技术问题上确实省事。
在 Open-WebUI 里把 Chat Template 设成 chatml，能更贴近 Llama3 的训练格式。

这几步不能把它变成中文原生强模型，但足够把可用性拉上来。

接 API 的方式很直接

如果你不是只想在网页里聊天，vLLM 也提供了 OpenAI 兼容接口，接到自己的工具链很方便：

from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="sk-no-key-required"
)
response = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    messages=[{"role": "user", "content": "用 Python 写一个快速排序函数"}],
    temperature=0.3
)
print(response.choices[0].message.content)

api_key 随便填，base_url 指向 8000 端口就行。这段代码在本地 Python 环境里可以直接跑，没什么额外门槛。

更新和备份别拖太久

更新模型：进容器后到 /app/models 目录替换对应模型，再重启容器
备份会话：聊天记录默认在 /app/data/chats.db
清理卡顿：如果跑久了明显变慢，可以重启 vLLM 服务

这些操作都不复杂，真正麻烦的是一开始把镜像和数据目录整理好。只要目录结构别乱，后面维护成本并不高。

结语

这套方案的价值，不在于它有多'高级'，而在于它把很多原本要自己拼的东西收拢到了一起：模型、推理、界面、API 都能直接用。对一张消费级显卡来说，这已经很够了。

如果你只是想找一个能在本地稳定对话、能接 API、还能顺手看文档的方案，Llama3-8B 配 vLLM 和 Open-WebUI 是个比较省心的起点。