DeepSeek-R1-Distill-Qwen-1.5B 本地部署：vLLM+Open-WebUI 环境搭建

推荐首次部署选 Q4_K_M 量化档（约 0.8 GB）：平衡精度与速度。

3.2 下载方式：命令行一键拉取

# 进入模型存放目录
mkdir -p ~/models/deepseek-r1
cd ~/models/deepseek-r1

# 使用 hf-transfer 加速下载
pip install hf-transfer
export HF_TRANSFER=1

# 下载 GGUF-Q4_K_M 版本
huggingface-cli download \
--resume-download \
--local-dir . \
DeepSeek-AI/DeepSeek-R1-Distill-Qwen-1.5B-GGUF \
--include "q4_k_m/*.gguf" \
--include "tokenizer.json" \
--include "config.json"

文件结构示例：

~/models/deepseek-r1/
├── tokenizer.json
├── config.json
└── q4_k_m/
    └── deepseek-r1-distill-qwen-1.5b.Q4_K_M.gguf

注意：tokenizer.json 和 config.json 是 Open-WebUI 识别模型必需的元信息文件。

4. vLLM 服务部署：高性能推理引擎启动指南

4.1 安装 vLLM

# 在已激活的虚拟环境中安装（CUDA 12.1 兼容版）
pip install vllm==0.6.3.post1

# 验证安装
python -c "from vllm import LLM; print('vLLM ready')"

版本强提示：vLLM ≥0.6.2 才原生支持 Qwen 系模型的 RoPE 位置编码。

4.2 启动 vLLM API 服务

vllm serve \
--model ~/models/deepseek-r1/q4_k_m/deepseek-r1-distill-qwen-1.5b.Q4_K_M.gguf \
--tokenizer ~/models/deepseek-r1/tokenizer.json \
--dtype auto \
--gpu-memory-utilization 0.9 \
--max-model-len 4096 \
--port 8000 \
--host 0.0.0.0 \
--served-model-name deepseek-r1-qwen-1.5b

参数说明：

• --model：指向 .gguf 文件
• --tokenizer：必须显式指定
• --gpu-memory-utilization 0.9：预留 10% 显存防 OOM
• --max-model-len 4096：匹配上下文长度

启动成功后验证：

curl http://localhost:8000/v1/models

5. Open-WebUI 部署：零代码搭建对话界面

5.1 安装 Open-WebUI：Docker 一键式

# 拉取镜像
docker pull ghcr.io/open-webui/open-webui:main

# 创建持久化目录
mkdir -p ~/open-webui/data

# 启动容器
docker run -d \
--network=host \
--name open-webui \
-v ~/open-webui/data:/app/backend/data \
-e OLLAMA_BASE_URL=http://host.docker.internal:8000 \
-p 3000:8080 \
ghcr.io/open-webui/open-webui:main

核心技巧：--network=host + http://host.docker.internal:8000 确保容器内访问宿主机 vLLM 服务。

5.2 首次访问与模型绑定

访问 http://localhost:3000，初始化向导中：

1. 账号注册：任意邮箱 + 密码
2. 模型选择页：点击右上角「+ Add Model」→ 选择「Custom OpenAI Endpoint」
3. 填写配置：
   • Model Name：deepseek-r1-qwen-1.5b
   • API Base URL：http://localhost:8000/v1
   • API Key：留空

保存后，该模型即出现在左侧模型列表中。

6. 进阶配置：让体验更顺滑的实用技巧

6.1 启用 JSON 模式

在 Open-WebUI 设置中开启「JSON Mode」。提示词末尾加上：

{"function": "xxx", "params": {...}, "reasoning": "..."}

6.2 函数调用实战

Open-WebUI 支持插件机制。创建简单计算器函数（保存为 ~/open-webui/data/functions/calculator.py）：

def calculate(expression: str) -> str:
    try:
        return str(eval(expression))
    except:
        return "计算错误"

6.3 长文本摘要

模型上下文为 4k token，处理万字文档需分段。推荐策略：按段落切分，每段单独提问总结，最后整合。

6.4 速度再提速：启用 FlashAttention-2

若 GPU 支持（Ampere 及以后架构）：

pip uninstall flash-attn -y
pip install flash-attn --no-build-isolation

重启 vLLM 服务时添加参数：--enable-flash-attn

6.5 日志与监控

调试时建议添加详细日志：

vllm serve ... --log-level DEBUG > vllm-debug.log 2>&1 &
watch -n 1 'nvidia-smi --query-gpu=memory.used,memory.total --format=csv,noheader,nounits'

7. 总结

本文介绍了从环境初始化、模型下载、vLLM 服务启动到 Open-WebUI 接入的全流程。最终交付的是一个能在 4GB 显存设备上稳定运行、支持函数调用与 JSON 输出、响应速度媲美云端 API 的本地智能体。无需 GPU 服务器或运维团队，只需几行命令即可拥有随时待命、不联网、不收费的 AI 助手。