Ubuntu 安装 vLLM：GPU 到 CPU 的三种方案

3.2 启动 vLLM 容器

以 Qwen/Qwen2.5-1.5B-Instruct 为例，映射 8000 端口并挂载 HuggingFace 缓存：

sudo docker run -d --name vllm \
  --runtime nvidia --gpus all \
  -p 8000:8000 --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen2.5-1.5B-Instruct

打开浏览器访问 http://localhost:8000/docs 即可看到与 OpenAI 100% 兼容的 REST 接口。

4. 方案三：CPU / 源码编译（无 GPU 也能跑）

适合：只有 CPU、需要改源码、研究量化算子。

4.1 系统依赖

sudo apt update
sudo apt install -y gcc-12 g++-12 libnuma-dev python3-dev cmake ninja-build
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 10 \
  --slave /usr/bin/g++ g++ /usr/bin/g++-12

4.2 克隆 & 编译

git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install --upgrade pip wheel packaging ninja numpy
pip install -v -r requirements/cpu.txt \
  --extra-index-url https://download.pytorch.org/whl/cpu
VLLM_TARGET_DEVICE=cpu python setup.py install

4.3 验证

VLLM_TARGET_DEVICE=cpu vllm --help

5. 进阶用法示例

5.1 本地模型离线推理

vllm serve /data/models/DeepSeek-R1-Distill-Qwen-7B \
  --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 \
  --max-model-len 8192

5.2 国内镜像/ModelScope

export VLLM_USE_MODELSCOPE=True # 用 ModelScope 自动下载

5.3 常用参数速查

6. 故障排查 Top3

7. 小结

根据硬件条件选择合适的部署方式，即可让大模型快速运行。