llama.cpp 是一个基于 C/C++ 的高性能推理框架，专为在本地设备上高效运行 Meta（原 Facebook）开源的 LLaMA 系列大语言模型而设计。它通过优化计算和内存管理，使得即使在没有高端 GPU 的普通电脑、树莓派甚至手机上也能流畅运行大模型。
核心优势
首先，它的核心优势在于轻量与高效。纯 C/C++ 实现意味着没有第三方依赖，对 x86、ARM 等 CPU 架构都有针对性优化。更关键的是支持 4-bit 量化（如 GGUF 格式），这能显著降低模型体积和内存占用——比如 7B 模型可压缩到约 4GB。同时，它也支持多核 CPU 以及部分 GPU 后端（CUDA、Metal 或 Vulkan）加速。
跨平台能力也是其一大亮点。无论是 Linux、macOS、Windows，还是 Android、iOS，甚至 Steam Deck 等嵌入式设备，都能找到对应的构建版本。完全开源的特性让社区非常活跃，衍生出了许多 Web 界面和绑定库工具，支持 Alpaca、Vicuna 等多种 LLaMA 衍生模型。
对于注重隐私的场景，它支持完全离线运行，无需联网即可调用模型，这在数据敏感环境下尤为重要。
实战指南
如果你想在本地跑起来，流程其实很简单。首先需要从 Hugging Face 等平台获取量化后的 LLaMA 模型文件（通常后缀为 .gguf 或旧版的 .bin）。
编译运行部分，建议按步骤操作，这样出错时更容易排查：
# 1. 克隆仓库
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# 2. 编译（Linux/macOS 使用 make，Windows 需配置 MSVC 或 MinGW）
make
# 3. 运行推理
./main -m /path/to/model.bin -p "你的提问"
这里要注意，-m 参数指向你的模型路径，-p 是初始提示词。实际运行时，如果显存不足，可以调整 -t 参数控制线程数，或者尝试更低精度的量化模型。
横向对比
| 工具 | 优势 | 局限性 |
|---|---|---|
| llama.cpp | 极致轻量，跨平台，低硬件需求 | 功能较基础，依赖社区扩展 |
| Ollama | 易用，自动下载模型，支持更多框架 | 需要更多资源 |
| TextGen UI | 图形界面，插件丰富 | 依赖 Python 和 GPU |
总的来说，如果你需要在资源有限的设备上本地运行大模型，llama.cpp 是目前最流行的选择之一。它的量化技术大幅降低了硬件门槛，让更多人能体验到大语言模型的能力，同时也为边缘计算场景提供了可行的落地方案。
