大模型本地部署神器：llama.cpp使用介绍

07 Apr 2026 — 10 min read

本节主要介绍什么是llama.cpp，以及llama.cpp、llama、ollama的区别。同时说明一下GGUF这种模型文件格式。

llama.cpp是一个由Georgi Gerganov开发的高性能C++库，主要目标是在各种硬件上（本地和云端）以最少的设置和最先进的性能实现大型语言模型推理。

主要特点：

是不是经常听到llama、llama.cpp、ollama这三个名字，看起来都包括lalama，但实际上它们是不同的概念：

LLaMA：
- LLaMA（Large Language Model Meta AI）是由Meta（Facebook）开发的大型语言模型系列
- 它是一组开源的基础语言模型，包括不同参数规模的版本（如LLaMA、LLaMA 2、LLaMA 3等）
- LLaMA是模型本身，即训练好的神经网络权重和架构文件，有不同大小的模型，如3B、7B、13B、65B、70B、130B等
llama.cpp：
- llama.cpp是一个C++库，用于在CPU上高效运行LLaMA模型
- 它是由Georgi Gerganov开发的，专注于优化LLaMA模型在消费级硬件上的推理性能
- 主要特点是内存效率高、支持量化（如4-bit、5-bit、8-bit量化）以减少内存需求
- 它是运行模型的推理引擎
Ollama：
- Ollama是一个应用程序，让用户能够轻松下载、运行和使用各种大型语言模型
- 它在底层使用llama.cpp作为推理引擎
- Ollama提供了友好的命令行界面和API，简化了模型的管理和使用
- 它相当于是llama.cpp的上层封装，增加了模型管理、会话管理等功能

所以说，LLaMA是模型本身（"大脑"），llama.cpp是高效运行这些模型的引擎（"引擎"），Ollama是一个用户友好的应用程序，使用llama.cpp作为引擎，让普通用户能够轻松使用这些模型（"应用"）

我们常听说一下模型文件格式，GGUF就是其中一种专为 llama.cpp 设计的二进制格式，取代早期的 GGML。 GGUF（GPT-Generated Unified Format）是一种用于存储模型以便使用GGML和基于GGML的执行器进行推理的文件格式。，具有以下优势：

可扩展性：支持在不破坏兼容性的情况下新增元数据下图是一个文件格式介绍：

本节介绍如何在Mac M1上安装llama.cpp，并使用模型进行推理。

设备：Mac Book Air(M1芯片，8G内存)

系统：macOS 15.0

模型：llama3.2-3B-Instruct

Mac设备上安装有两种方式，下载源代码编译或者通过brew安装。我们直接用brew安装。

brew install llama.cpp

https://huggingface.co/models?library=gguf&sort=trending

https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/blob/main/Llama-3.2-3B-Instruct-Q8_0.gguf

llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf

运行成功后，可以看到一些推理参数。比如对Apple的图形计算Metal的支持、对ARM 上NEON优化的支持等。

在命令行直接对话：

M1芯片的Mac上，llama.cpp的推理速度非常快，基本秒出结果。

本节介绍如何在Linux下安装llama.cpp，并使用模型进行推理。

设备：Linux服务器(阿里云服务器：Intel CPU，2G内存)

系统：Ubuntu 22.04

模型：llama3.2-3B-Instruct

git clone https://github.com/ggerganov/llama.cpp.git

sudo apt install cmake

cmake -B build

同样使用前面下载的模型文件Llama-3.2-3B-Instruct-Q8_0.gguf。

../llama.cpp/build/bin/llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf

阿里云服务器是Intel CPU，所以需要使用CPU进行推理。配置比较低，所以推理速度比较慢，不可用。服务端的话还是要购买GPU服务器或者直接购买API服务做推理。

由于llama.cpp是纯C/C++实现的，能够跨平台部署大模型推理。同时针对不同的硬件做了优化，所以推理速度非常快，尤其是Apple M1芯片，完全超出我的预期。我平时用的多的Ollama就是基于这个库的封装，对使用模型和应用开发更加友好。如果不做模型量化转换的话，用Ollama做本地模型部署就可以了。
小模型部署在端侧的部署还是很有意义的，比如在手机上部署一个llama3.2-3B-Instruct模型，可以实现非常快的推理速度。未来模型同时在端侧和云端部署，端侧模型推理速度更快，云端模型更强大，可以实现非常多的应用场景。