llama.cpp 本地部署大模型实战指南
什么是 llama.cpp
llama.cpp 是由 Georgi Gerganov 开发的高性能 C++ 库，旨在各种硬件上（本地和云端）以最少的设置和最先进的性能实现大型语言模型推理。
核心特性
- 纯 C/C++ 实现：无外部依赖，便于移植。
- 硬件优化：对 Apple Silicon（M1/M2/M3）提供一流支持，利用 ARM NEON、Accelerate 和 Metal 框架；支持 x86 架构的 AVX、AVX2、AVX512 和 AMX 指令集。
- 量化支持：支持 1.5 位至 8 位整数量化，显著降低内存占用并提升推理速度。
- GPU 加速：为 NVIDIA GPU 提供自定义 CUDA 内核，通过 HIP 支持 AMD GPU，通过 MUSA 支持摩尔线程 MTT GPU。
- 混合推理：支持 CPU+GPU 混合推理，可处理超出总 VRAM 容量的模型。
LLaMA、llama.cpp 与 Ollama 的区别
这三个概念常被混淆，其实它们处于不同的层级：
- LLaMA：Meta 开发的大型语言模型系列（如 LLaMA 2、LLaMA 3）。它是模型本身，包含训练好的权重和架构。
- llama.cpp：一个推理引擎。它专注于在消费级硬件上高效运行 LLaMA 模型，特点是内存效率高且支持量化。
- Ollama：一个应用程序。它在底层使用 llama.cpp 作为引擎，提供了友好的命令行界面和 API，简化了模型的管理和使用。
简单来说，LLaMA 是'大脑'，llama.cpp 是'引擎'，而 Ollama 是基于该引擎封装的'应用'。
GGUF 文件格式
GGUF（GPT-Generated Unified Format）是专为 llama.cpp 设计的二进制格式，取代了早期的 GGML。它具有以下优势：
- 高效存储与加载：通过紧凑编码和内存映射技术加速模型载入。
- 自包含性：文件内包含模型架构、超参数等完整信息，无需额外依赖。
- 可扩展性：支持在不破坏兼容性的情况下新增元数据。
Mac M1 环境下的安装与推理
本部分演示如何在 macOS 环境下快速部署。
环境配置：MacBook Air (M1 芯片，8GB 内存)，macOS 15.0。 目标模型：Llama-3.2-3B-Instruct (GGUF 格式)。
安装步骤
Mac 设备支持源码编译或 Homebrew 安装，推荐使用 brew 以简化流程：
brew install llama.cpp
下载模型
可以从 Hugging Face 获取 GGUF 格式的模型文件：
https://huggingface.co/models?library=gguf&sort=trending
例如下载 bartowski/Llama-3.2-3B-Instruct-GGUF 仓库中的 Llama-3.2-3B-Instruct-Q8_0.gguf 文件。
运行推理
将模型文件下载到当前目录后，执行以下命令启动交互：
llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf
运行成功后，终端会显示推理参数信息，包括对 Apple Metal 图形计算的支持以及 ARM NEON 优化的状态。此时即可直接在命令行进行对话。得益于 M1 芯片的优化，llama.cpp 在此类设备上的推理速度非常快，基本能实现秒出结果。
