DeepSeek-R1-Distill-Qwen-1.5B 部署指南：vLLM 与 Open-WebUI 集成

推荐首次部署选 Q4_K_M 量化档（约 0.8 GB），平衡精度与速度。

3.2 下载方式

mkdir -p ~/models/deepseek-r1
cd ~/models/deepseek-r1
pip install hf-transfer
export HF_TRANSFER=1

huggingface-cli download \
--resume-download \
--local-dir . \
DeepSeek-AI/DeepSeek-R1-Distill-Qwen-1.5B-GGUF \
--include "q4_k_m/*.gguf" \
--include "tokenizer.json" \
--include "config.json"

文件结构示例：

~/models/deepseek-r1/
├── tokenizer.json
├── config.json
└── q4_k_m/
    └── deepseek-r1-distill-qwen-1.5b.Q4_K_M.gguf

4. vLLM 服务部署

4.1 安装 vLLM

vLLM 采用 PagedAttention 技术提升显存利用率。

pip install vllm==0.6.3.post1
python -c "from vllm import LLM; print('vLLM ready')"

提示：vLLM ≥0.6.2 才原生支持 Qwen 系模型的 RoPE 位置编码。

4.2 启动 vLLM API 服务

vllm serve \
--model ~/models/deepseek-r1/q4_k_m/deepseek-r1-distill-qwen-1.5b.Q4_K_M.gguf \
--tokenizer ~/models/deepseek-r1/tokenizer.json \
--dtype auto \
--gpu-memory-utilization 0.9 \
--max-model-len 4096 \
--port 8000 \
--host 0.0.0.0 \
--served-model-name deepseek-r1-qwen-1.5b

验证服务：

curl http://localhost:8000/v1/models

5. Open-WebUI 部署

5.1 安装 Open-WebUI

使用 Docker 一键部署：

docker pull ghcr.io/open-webui/open-webui:main
mkdir -p ~/open-webui/data

docker run -d \
--network=host \
--name open-webui \
-v ~/open-webui/data:/app/backend/data \
-e OLLAMA_BASE_URL=http://host.docker.internal:8000 \
-p 3000:8080 \
ghcr.io/open-webui/open-webui:main

核心技巧：--network=host + http://host.docker.internal:8000 确保容器内访问宿主机 vLLM 服务。

5.2 首次访问与模型绑定

访问 http://localhost:3000，注册账号后点击右上角「+ Add Model」→ 选择「Custom OpenAI Endpoint」。

• Model Name：deepseek-r1-qwen-1.5b
• API Base URL：http://localhost:8000/v1
• API Key：留空

6. 进阶配置

6.1 启用 JSON 模式

在 Open-WebUI 设置中开启「JSON Mode」，提示词末尾指定 JSON Schema 格式，模型将直接返回合法 JSON。

6.2 函数调用实战

Open-WebUI 支持插件机制。创建本地计算器函数（保存为 ~/open-webui/data/functions/calculator.py）：

def calculate(expression: str) -> str:
    try:
        return str(eval(expression))
    except:
        return "计算错误"

聊天中输入'帮我算一下 123 * 456 + 789'，模型将自动调用函数。

6.3 长文本摘要

模型上下文为 4k token。处理长文档时建议分段处理，每段单独提问总结后再整合。

6.4 速度再提速

若 GPU 支持 Ampere 架构，可编译 FlashAttention-2：

pip uninstall flash-attn -y
pip install flash-attn --no-build-isolation

重启 vLLM 时添加参数：--enable-flash-attn

6.5 日志与监控

调试时建议开启详细日志：

vllm serve ... --log-level DEBUG > vllm-debug.log 2>&1 &
watch -n 1 'nvidia-smi --query-gpu=memory.used,memory.total --format=csv,noheader,nounits'

7. 总结

本文介绍了从环境初始化、模型下载、vLLM 服务启动到 Open-WebUI 接入的全流程。最终交付的本地智能体可在 4GB 显存设备上稳定运行，具备数学推理、函数调用及结构化输出能力，无需联网即可体验大模型功能。