llama.cpp 是高性能 C++ 库，用于在各类硬件上实现大语言模型推理。文章对比了 LLaMA、llama.cpp 与 Ollama 的概念差异，详解 GGUF 文件格式优势。通过 Mac M1 和 Linux 环境下的实操演示，展示了安装编译、模型下载及命令行推理流程，并评估了 CPU 与 GPU 混合推理的性能表现，探讨了端侧部署的应用价值。
本节主要介绍什么是 llama.cpp，以及 llama.cpp、LLaMA、Ollama 的区别。同时说明一下 GGUF 这种模型文件格式。
llama.cpp 是一个由 Georgi Gerganov 开发的高性能 C++ 库，主要目标是在各种硬件上（本地和云端）以最少的设置和最先进的性能实现大型语言模型推理。
主要特点：
是不是经常听到 LLaMA、llama.cpp、Ollama 这三个名字，看起来都包括 llama，但实际上它们是不同的概念：
所以说，LLaMA 是模型本身（"大脑"），llama.cpp 是高效运行这些模型的引擎（"引擎"），Ollama 是一个用户友好的应用程序，使用 llama.cpp 作为引擎，让普通用户能够轻松使用这些模型（"应用"）
我们常听说一下模型文件格式，GGUF 就是其中一种专为 llama.cpp 设计的二进制格式，取代早期的 GGML。GGUF（GPT-Generated Unified Format）是一种用于存储模型以便使用 GGML 和基于 GGML 的执行器进行推理的文件格式，具有以下优势：
下图是一个文件格式介绍：
本节介绍如何在 Mac M1 上安装 llama.cpp，并使用模型进行推理。
设备：Mac Book Air (M1 芯片，8G 内存)
系统：macOS 15.0
模型：llama3.2-3B-Instruct
Mac 设备上安装有两种方式，下载源代码编译或者通过 brew 安装。我们直接用 brew 安装。
brew install llama.cpp
https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/blob/main/Llama-3.2-3B-Instruct-Q8_0.gguf
llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf
运行成功后，可以看到一些推理参数。比如对 Apple 的图形计算 Metal 的支持、对 ARM 上 NEON 优化的支持等。
在命令行直接对话：
M1 芯片的 Mac 上，llama.cpp 的推理速度非常快，基本秒出结果。
本节介绍如何在 Linux 下安装 llama.cpp，并使用模型进行推理。
设备：Linux 服务器 (阿里云服务器：Intel CPU，2G 内存)
系统：Ubuntu 22.04
模型：llama3.2-3B-Instruct
git clone https://github.com/ggerganov/llama.cpp.git
sudo apt install cmake
cmake -B build
同样使用前面下载的模型文件 Llama-3.2-3B-Instruct-Q8_0.gguf。
../llama.cpp/build/bin/llama-cli -m Llama-3.2-3B-Instruct-Q8_0.gguf
阿里云服务器是 Intel CPU，所以需要使用 CPU 进行推理。配置比较低，所以推理速度比较慢，不可用。服务端的话还是要购买 GPU 服务器或者直接购买 API 服务做推理。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online