1. 为什么需要关注 llama.cpp：让大模型在普通电脑上运行
大模型通常对显存需求较高。llama.cpp 是一个用 C/C++ 编写的开源项目，核心目标是在消费级硬件（如笔记本电脑 CPU）上高效运行大型语言模型。它更像一个推理引擎，专注于以最小的资源消耗运行训练好的模型。其优势主要在于纯 C/C++ 实现带来的极致性能，以及模型量化技术带来的体积与速度优化。量化可理解为在不明显损失模型效果的前提下，优化文件大小和加载速度。
2. 第一步：准备 llama.cpp 工作环境
部署的第一步是搭建 llama.cpp 工具链。
2.1 获取与编译 llama.cpp
llama.cpp 源码托管在 GitHub 上。打开终端（Linux/macOS 的 Terminal，或 Windows 的 PowerShell/WSL），执行以下命令：
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
进入项目目录后，运行 make 命令进行编译。Makefile 会自动检测系统硬件架构（如是否支持 AVX2、AVX512 指令集）并进行优化编译。编译完成后，目录下会生成几个关键的可执行文件：
main：核心推理程序，用于加载模型并与模型对话。quantize：量化工具，负责把高精度模型转换成低精度格式。server：简单的 HTTP API 服务端，可直接把模型包装成 Web 服务。
在普通的 Linux 服务器或 Mac 上，编译过程通常一两分钟即可完成。如果编译失败，通常是缺少基础构建工具（如 gcc、make），根据系统提示安装即可。
2.2 准备你的第一个模型
llama.cpp 支持多种模型格式，最通用、推荐的是 GGUF 格式。这是一种专为高效推理设计的模型文件格式。
模型可从 Hugging Face Models 网站获取。搜索模型时建议加上"GGUF"关键词过滤。例如，搜索"Llama-2-7b-chat GGUF"。
找到合适的模型仓库后，建议直接在网页上下载 GGUF 模型文件，而不是用 git clone 克隆整个仓库。部分仓库使用 git clone 可能因 Git LFS 问题导致模型文件不完整，加载时可能报错。稳妥的做法是在 Hugging Face 的模型文件列表里，找到类似 llama-2-7b-chat.Q4_K_M.gguf 的文件，直接点击下载。
下载好的 .gguf 文件，建议放在项目根目录下的 models 文件夹里。可手动创建该文件夹，然后把模型文件放进去，这样即可统一管理模型文件。