跑量化模型，llama.cpp 基于 C/C++ 实现，支持 CPU+GPU 量化推理，命令行参数精细，适合 GGUF 格式模型。本文介绍安装、运行全过程及常见问题排查。
一、什么是 llama.cpp？为什么它如此重要？
llama.cpp 的核心思想是让大模型运行在普通人的消费级硬件上。它通过以下关键技术实现了这一目标：
- C/C++ 实现：没有复杂的 Python 依赖，编译后即是原生可执行文件，性能极高。
- 模型量化 (Quantization)：将模型权重从传统的 32 位或 16 位浮点数，压缩成更小的整数（如 4 位、5 位）。这使得模型文件大小和内存占用都减少数倍，而对模型性能的影响却很小。
- GGUF 格式：一种专为 llama.cpp 设计的模型文件格式，将模型结构和量化后的权重打包在一起，方便分发和加载。
- 硬件优化：充分利用现代 CPU 的向量指令集（如 AVX2）和 GPU 的并行计算能力（如 Apple Metal, NVIDIA CUDA），实现惊人的推理速度。
01.第一步：环境准备与基础编译
首先，我们需要安装编译 llama.cpp 所需的基础工具。
- macOS: 打开终端 (Terminal)，运行
xcode-select --install。 - Linux (Ubuntu/Debian): 运行
sudo apt update && sudo apt install build-essential git cmake。 - Windows: 安装 Git for Windows, CMake, 以及带有 "使用 C++ 的桌面开发" 工作负载的 Visual Studio Community Edition。
然后，克隆项目仓库：
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
在进行下一步编译之前，我们先来了解如何开启 GPU 加速。
02.第二步：开启 GPU 加速（核心步骤）
默认情况下，llama.cpp 只使用 CPU。要发挥硬件的最大潜力，你需要在编译时明确告诉它使用哪个 GPU 后端。
编译命令详解
llama.cpp 使用 cmake 进行编译。开启 GPU 支持的关键是在 cmake 命令后附加 -D 标志。
**对于 AMD/Intel GPU 用户 (使用 OpenCL 或 Vulkan):**这是一个更通用的选项，但性能可能不如官方支持的 CUDA 和 Metal。
# 使用 OpenCL
cmake -B build -DLLAMA_CLBLAST=ON
cmake --build build --config Release -j
**对于 NVIDIA GPU 用户 (使用 CUDA):**你需要先安装 NVIDIA CUDA Toolkit。安装后，执行：
cmake -B build -DLLAMA_CUDA=ON
cmake --build build --config Release -j
对于 Apple Silicon (M1/M2/M3/M4) 用户 (使用 Metal):
cmake -B build -DLLAMA_METAL=ON
cmake --build build --config Release -j
这会开启 Apple 的 Metal 图形和计算框架，性能极佳。
编译成功后，生成的 llama-cli 和 server 等工具就具备了 GPU 加速的能力。
若编译报错，可参考相关 Issue 解决方案，例如在 RHEL 系统中可能需要升级 GCC 或修改 CMakeLists.txt。
如何控制 CPU 和 GPU 的使用？
llama.cpp 通过一个核心参数来控制模型有多少层被'卸载'到 GPU 上运行：
