vLLM 本地部署 DeepSeek 大模型服务实战（Linux + NVIDIA GPU）

激活成功后，终端前缀会显示 (.venv)，表示已进入隔离的 Python 环境。

2.3 安装 vLLM

uv 会自动检测本机 CUDA 版本，匹配对应的 torch 版本，无需手动指定，执行以下命令一键安装 vLLM：

uv pip install vllm --torch-backend=auto

安装完成后，执行验证命令，检查 vLLM 版本：

python -c "import vllm; print(vllm.__version__)"

若终端正常输出版本号（如 0.5.0），说明 vLLM 安装成功。

2.4 使用 ModelScope 下载模型（国内环境必看）

vLLM 默认从 HuggingFace 下载模型，国内环境下网络速度较慢，推荐切换为 ModelScope 源，大幅提升模型下载速度，步骤如下：

# 安装 ModelScope 库
uv pip install modelscope
# 设置环境变量，让 vLLM 优先从 ModelScope 拉取模型
export VLLM_USE_MODELSCOPE=True

2.5 启动 DeepSeek 模型服务

完成以上配置后，直接执行命令启动 DeepSeek 模型服务，本文以 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 为例（轻量版，适合入门体验）：

vllm serve "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"

首次运行会自动下载模型文件，下载完成后，vLLM 会启动推理服务，默认监听地址为 http://localhost:8000。

当终端出现类似以下日志时，说明服务启动成功：

INFO 09-01 10:00:00 llm_engine.py:202] Initializing LLM engine with config: ...
INFO 09-01 10:00:10 server.py:687] Started server process [12345]
INFO 09-01 10:00:10 server.py:709] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

三、测试 OpenAI 兼容接口

vLLM 原生提供 OpenAI API 兼容接口，这意味着所有适配 OpenAI 接口的业务系统、第三方工具（如 Cherry Studio、ChatGPT 客户端）都可以无缝对接本地部署的 DeepSeek 服务，无需修改代码。

3.1 curl 命令快速测试

在新的终端窗口，执行以下 curl 命令，向本地 vLLM 服务发送请求：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B", "messages": [ {"role": "user", "content": "1+1 等于多少？"} ] }'

3.2 验证返回结果

若服务正常响应，会返回标准的 OpenAI 格式 JSON 数据，包含模型回答、token 用量等信息，示例如下：

{
  "id": "chatcmpl-xxxx",
  "object": "chat.completion",
  "created": 1725122400,
  "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "1+1 等于 2，这是基础的数学加法运算结果。"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 10,
    "completion_tokens": 15,
    "total_tokens": 25
  }
}

能正常返回该结果，说明你的 DeepSeek 模型服务已成功部署，且可对外提供 API 调用能力。

此时你已拥有一个本地可调用、后端系统可接入、OpenAI 协议兼容的大模型推理服务，可直接对接业务代码。

四、部署常见问题及解决方案

部署过程中，可能会遇到 CUDA 版本不匹配、显存不足、模型下载慢等问题，以下是高频问题的解决方案，覆盖 90% 的部署场景。

1. CUDA 版本不匹配

现象：启动 vLLM 时，报 torch/cuda 相关错误，如 CUDA version mismatch、no kernel image is available for execution on the device。

解决方式：

1. 升级 NVIDIA 显卡驱动，使其与系统安装的 CUDA 版本匹配；

若驱动无法升级，可手动安装匹配 CUDA 版本的 torch，再重新安装 vLLM：

# 示例：安装 CUDA 12.1 版本的 torch
uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
uv pip install vllm --torch-backend=auto

2. 显存不足

现象：启动模型时，报 out of memory 错误，终端提示显存占用超出显卡容量。

解决方式：

1. 更换更小参数量的 DeepSeek 模型版本。

调小模型最大上下文长度，减少显存占用：

vllm serve "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B" --max-model-len 2048

限制 GPU 显存利用率，预留部分显存：

vllm serve "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B" --gpu-memory-utilization 0.8

（0.8 表示使用 80% 的显存，可根据显卡容量调整）

3. 模型下载慢/下载中断

现象：执行启动命令后，模型下载速度极慢，或中途断开连接，提示下载失败。

解决方式：

1. 确保已配置 VLLM_USE_MODELSCOPE=True，使用国内源下载；

手动从 ModelScope 官网下载模型到本地，再指定本地模型路径启动服务：

# 本地模型路径示例：/root/models/DeepSeek-R1-Distill-Qwen-1.5B
vllm serve /root/models/DeepSeek-R1-Distill-Qwen-1.5B

五、总结

本文完成了 Linux + NVIDIA GPU 环境下 vLLM 部署 DeepSeek 大模型的全流程实战，核心收获包括：

1. 完成了 vLLM 部署的基础环境准备，掌握了 NVIDIA GPU + CUDA 环境的校验方法；
2. 学会使用 uv 进行 Python 环境管理，实现了快速、干净的依赖安装；
3. 成功安装 vLLM 并适配国内环境，通过 ModelScope 加速模型下载；
4. 启动了 DeepSeek 模型的 OpenAI 兼容 API 服务，实现了大模型的标准化对外调用。

vLLM 作为高性能的大模型推理框架，其高吞吐、高显存利用率的特性，使其成为私有化部署、企业级推理服务、高并发 API 化改造的首选方案。基于本文的基础部署，开发者还可以进一步探索 vLLM 的高级特性，如多模型部署、负载均衡、量化推理等，打造更贴合业务需求的大模型服务架构。