大模型推理框架选型入门：Ollama、llama.cpp 与 vLLM 对比

2.2 按硬件环境选型

无 GPU 环境：

# 唯一选择：llama.cpp ./llama-cli -m model.gguf --threads 32

单卡消费级 GPU（RTX 4090 24GB）：

# 7B-13B 模型：vLLM 或 llama.cpp 均可# 70B 模型：必须用量化版 + vLLM vllm serve --model llama-70b-awq --quantization awq

多卡数据中心 GPU（A100/H100）：

# vLLM 是最佳选择 vllm serve --model llama-405b --tensor-parallel-size 8

Apple Silicon（M1/M2/M3）：

# llama.cpp Metal 后端最优 ./llama-cli -m model.gguf -ngl 99# 全部层卸载到 GPU

三、快速上手示例

3.1 Ollama：5 分钟跑起来

# 安装 curl -fsSL https://ollama.com/install.sh |sh# 拉取并运行模型 ollama run llama3.1:70b # 自定义 Modelfile cat > Modelfile <<'EOF' FROM llama3.1:70b PARAMETER temperature 0.7 PARAMETER top_p 0.9 SYSTEM "你是一个专业的编程助手" EOF ollama create my-model -f Modelfile

3.2 llama.cpp：从源码构建

# 克隆并编译 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make -j LLAMA_CUDA=1# NVIDIA GPU# 下载 GGUF 模型并运行 ./llama-cli \ -m models/llama-3.1-70b-Q4_K_M.gguf \ --ctx-size 32768\ --threads 32\ -ngl 99# GPU 层数，99 表示全部

3.3 vLLM：生产级部署

# pip 安装 pip install vllm # 启动服务 vllm serve meta-llama/Llama-3.1-70B \ --tensor-parallel-size 4\ --gpu-memory-utilization 0.85\ --max-model-len 32768\ --enable-prefix-caching # 调用 API curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json"\ -d '{ "model": "meta-llama/Llama-3.1-70B", "prompt": "Hello,", "max_tokens": 100 }'

四、常见误区澄清

误区 1：Ollama 可以替代 vLLM 用于生产

真相：Ollama 的 HTTP 层和调度逻辑在高并发下会成为瓶颈。实测数据显示，相同硬件下 vLLM 的吞吐量是 Ollama 的 3-5 倍。

误区 2：llama.cpp 比 vLLM 慢，应该被淘汰

真相：llama.cpp 在 CPU 推理和边缘设备场景下是最佳选择。它的跨平台能力和 GGUF 生态是 vLLM 无法替代的。

误区 3：vLLM 支持所有模型格式

真相：vLLM 主要支持 HuggingFace 格式（safetensors/bin），而 llama.cpp 专注于 GGUF。选型前需要确认模型格式支持。

参考资源

• vLLM 官方文档
• llama.cpp GitHub
• Ollama 官方文档
• PagedAttention 论文