大模型推理框架选型入门：Ollama、llama.cpp与vLLM对比

这意味着：

• Ollama 的'简单'是有代价的——它隐藏了 llama.cpp 的精细调参能力
• 在高并发场景下，Ollama 的 HTTP 层成为瓶颈
• 生产环境建议绕过 Ollama，直接使用底层引擎

二、适用场景速查表

2.1 按使用场景选型

2.2 按硬件环境选型

无 GPU 环境：

# 唯一选择：llama.cpp
./llama-cli -m model.gguf --threads 32

单卡消费级 GPU（RTX 4090 24GB）：

# 7B-13B 模型：vLLM 或 llama.cpp 均可
# 70B 模型：必须用量化版 + vLLM
vllm serve --model llama-70b-awq --quantization awq 

多卡数据中心 GPU（A100/H100）：

# vLLM 是最佳选择
vllm serve --model llama-405b --tensor-parallel-size 8

Apple Silicon（M1/M2/M3）：

# llama.cpp Metal 后端最优
./llama-cli -m model.gguf -ngl 99
# 全部层卸载到 GPU

三、快速上手示例

3.1 Ollama：5 分钟跑起来

# 安装
curl -fsSL https://ollama.com/install.sh | sh
# 拉取并运行模型
ollama run llama3.1:70b
# 自定义 Modelfile
cat > Modelfile <<'EOF'
FROM llama3.1:70b
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM "你是一个专业的编程助手"
EOF
ollama create my-model -f Modelfile

3.2 llama.cpp：从源码构建

# 克隆并编译
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j LLAMA_CUDA=1 # NVIDIA GPU
# 下载 GGUF 模型并运行
./llama-cli \
  -m models/llama-3.1-70b-Q4_K_M.gguf \
  --ctx-size 32768 \
  --threads 32 \
  -ngl 99 # GPU 层数，99 表示全部

3.3 vLLM：生产级部署

# pip 安装
pip install vllm
# 启动服务
vllm serve meta-llama/Llama-3.1-70B \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 32768 \
  --enable-prefix-caching
# 调用 API
curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{ "model": "meta-llama/Llama-3.1-70B", "prompt": "Hello,", "max_tokens": 100 }'

四、常见误区澄清

误区 1：Ollama 可以替代 vLLM 用于生产

真相：Ollama 的 HTTP 层和调度逻辑在高并发下会成为瓶颈。实测数据显示，相同硬件下 vLLM 的吞吐量是 Ollama 的 3-5 倍。

误区 2：llama.cpp 比 vLLM 慢，应该被淘汰

真相：llama.cpp 在 CPU 推理和边缘设备场景下是最佳选择。它的跨平台能力和 GGUF 生态是 vLLM 无法替代的。

误区 3：vLLM 支持所有模型格式

真相：vLLM 主要支持 HuggingFace 格式（safetensors/bin），而 llama.cpp 专注于 GGUF。选型前需要确认模型格式支持。

参考资源

• vLLM 官方文档
• llama.cpp GitHub
• Ollama 官方文档
• PagedAttention 论文