llama.cpp 是一个基于 C/C++ 的高性能推理框架，专为在本地设备上高效运行 Meta（原 Facebook）开源的 LLaMA 系列大语言模型而设计。它通过优化计算和内存管理，使得即使在没有高端 GPU 的普通电脑、树莓派甚至手机上也能流畅运行大模型。
核心优势
- 轻量与高效
- 纯 C/C++ 实现，无第三方依赖，针对 x86、ARM 等 CPU 架构做了深度优化。
- 支持 4-bit 量化（如 GGUF 格式），显著降低模型体积和内存占用，例如 7B 模型可压缩到约 4GB。
- 支持多核 CPU 并行，并可通过 CUDA、Metal 或 Vulkan 后端利用部分 GPU 加速。
- 跨平台能力
- 兼容 Linux、macOS、Windows、Android、iOS 等主流系统。
- 甚至能在 Steam Deck 等嵌入式设备上稳定运行。
- 开源生态
- 完全开源（GitHub: ggerganov/llama.cpp），社区活跃，衍生出众多 Web 界面和绑定库工具。
- 广泛支持 LLaMA 衍生模型，如 Alpaca、Vicuna、WizardLM 等。
- 隐私安全
- 支持完全离线运行，无需联网，适合对数据敏感的场景。
实战部署
如果你想在本地跑起来，流程其实很简单。首先从 Hugging Face 等平台获取量化后的模型文件（通常后缀为 .gguf 或 .bin）。
编译运行部分，建议先克隆项目并构建。注意，这里需要确保你的环境已安装必要的编译器（如 GCC 或 Clang）。
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
构建完成后，使用 ./main 加载模型并进行对话。参数 -m 指定模型路径，-p 用于输入提示词：
./main -m /path/to/model.gguf -p "你好，请介绍一下你自己"
实际运行时可能会遇到显存不足的情况，这时可以调整量化等级或使用更小的模型版本。
横向对比
| 工具 | 优势 | 局限性 |
|---|---|---|
| llama.cpp | 极致轻量，跨平台，低硬件需求 | 功能较基础，依赖社区扩展 |
| Ollama | 易用，自动下载模型，支持更多框架 | 资源占用相对较高 |
| TextGen UI | 图形界面友好，插件丰富 | 依赖 Python 环境和 GPU |
总的来说，如果你需要在资源有限的设备上本地运行大模型，llama.cpp 是目前最流行的选择之一。它的量化技术大幅降低了硬件门槛，让普通人也能体验大语言模型的强大能力。
