Llama3-8B 本地部署：vLLM 和 Open-WebUI 直装方案

docker run -d \
  --name llama3-vllm-webui \
  --gpus all \
  -p 7860:7860 \
  -p 8000:8000 \
  -v $(pwd)/models:/app/models \
  -v $(pwd)/data:/app/data \
  --shm-size=1g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  ghcr.io/kakajiang/llama3-8b-vllm-openwebui:latest

几个参数不用记太细，常用的就这几个：

• -p 7860:7860：Open-WebUI 入口，浏览器打开 http://localhost:7860
• -p 8000:8000：vLLM 的 API 端口
• -v $(pwd)/models:/app/models：挂载本地模型目录，后面替换模型方便
• --gpus all：把 GPU 交给容器

启动后看日志：

docker logs -f llama3-vllm-webui

看到 Application startup complete 和 vLLM engine started，就可以进网页了。首次启动通常要等几分钟，主要卡在模型下载。

打开网页就能聊

浏览器访问 http://localhost:7860，会看到登录页。预置账号如下：

账号：[email protected] 密码：kakajiang

登录后直接试一个稍微完整点的问题，比如：

请用中文解释什么是 Attention 机制，并用一个生活中的例子类比，最后用 Python 伪代码示意核心计算步骤。

如果模型和提示词都正常，回答会比较规整，结构也不会太散。Open-WebUI 里还能继续上传 PDF、改系统提示词，这些都是日常会用到的功能，不花哨，但顺手。

常见问题和一些取舍

显存不够时，先别急着换卡

即便是 GPTQ-INT4，长上下文或者并发上来以后，还是可能碰到 OOM。这时候先看两个方向：限制并发，或者减少重复前缀的计算。

镜像默认已经开了这些参数：

• --max-num-seqs 16
• --enable-prefix-caching

前者是控制最大并发请求数，后者是缓存重复前缀，系统提示词这类固定内容就不会每次都重算。实际使用里，这比盲目加大上下文更靠谱。单次输入尽量别把 token 拉得太满，6k 左右会比较稳。

中文效果一般，靠提示词补一点

Llama3-8B 对英文明显更熟，中文不是不能用，只是别指望它天然就很会。比较实用的做法有三个：

1. 在系统提示词里把角色和输出要求说清楚，比如'你是一位精通中英双语的技术文档工程师，所有回答必须用中文，术语准确，句式简洁。'
2. 关键问题先用英文问，再把结果翻成中文。这个办法不优雅，但在一些技术问题上确实省事。
3. 在 Open-WebUI 里把 Chat Template 设成 chatml，能更贴近 Llama3 的训练格式。

这几步不能把它变成中文原生强模型，但足够把可用性拉上来。

接 API 的方式很直接

如果你不是只想在网页里聊天，vLLM 也提供了 OpenAI 兼容接口，接到自己的工具链很方便：

from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="sk-no-key-required"
)
response = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    messages=[{"role": "user", "content": "用 Python 写一个快速排序函数"}],
    temperature=0.3
)
print(response.choices[0].message.content)

api_key 随便填，base_url 指向 8000 端口就行。这段代码在本地 Python 环境里可以直接跑，没什么额外门槛。

更新和备份别拖太久

• 更新模型：进容器后到 /app/models 目录替换对应模型，再重启容器
• 备份会话：聊天记录默认在 /app/data/chats.db
• 清理卡顿：如果跑久了明显变慢，可以重启 vLLM 服务

这些操作都不复杂，真正麻烦的是一开始把镜像和数据目录整理好。只要目录结构别乱，后面维护成本并不高。

结语

这套方案的价值，不在于它有多'高级'，而在于它把很多原本要自己拼的东西收拢到了一起：模型、推理、界面、API 都能直接用。对一张消费级显卡来说，这已经很够了。

如果你只是想找一个能在本地稳定对话、能接 API、还能顺手看文档的方案，Llama3-8B 配 vLLM 和 Open-WebUI 是个比较省心的起点。