llama.cpp 实战指南
为什么选择 llama.cpp
对于没有独立显卡或显存不足的用户，llama.cpp 提供了纯 CPU 运行大语言模型的解决方案。该项目由 Georgi Gerganov 维护，核心优势包括：
- 零显卡依赖：支持纯 CPU 运行（有 GPU 亦可加速）
- 跨平台兼容：支持 Mac、Windows、Linux 及树莓派等
- 内存优化：采用量化压缩技术，显著降低显存/内存占用
- 依赖简洁：基于 C++17 和 CMake，编译环境要求低
- 推理性能：在部分硬件上表现优于传统 Python 方案
实战步骤
第一步：准备环境
克隆项目并编译。
git clone https://github.com/ggerganov/llama.cpp --depth=1
cd llama.cpp
make
编译成功后会生成 main 可执行文件。Windows 用户可使用 CMake-GUI 进行编译。
注意：若编译报错，请检查是否安装了
g++或cmake。Mac 用户使用 brew，Ubuntu 用户使用 apt 安装。
第二步：获取模型文件
官方模型需从 Meta 申请，社区通常提供转换后的 GGUF 格式模型。
- 从 HuggingFace 下载
Llama-2-7B-chat-GGUF格式模型（约 4GB） - 将文件放入项目的
models文件夹
GGUF 是 llama.cpp 专用的高效格式，通过量化技术可将原始模型体积缩小 2-4 倍。
第三步：启动交互
使用以下命令加载模型并进行对话。
./main -m ./models/llama-2-7b-chat.Q4_0.gguf \
-p "为什么天空是蓝色的？" \
-n 128
等待终端输出结果即可。
高级参数配置
基础运行后，可通过参数调整行为与性能：
# 对话模式
./main -m ./models/7B/ggml-model-q4_0.gguf --interactive-first
# 控制生成随机性 (0-1)
--temp 0.8
# 性能优化 (指定线程数，防止内存交换)
./main -t 16 --mlock -c 2048
建议加上 --mlock 参数以防止内存交换，提升 Linux/Mac 下的运行速度。
使用体验与建议
- 资源占用：7B 模型仅需约 4GB 内存，远低于 Python 版本需求
- 启动速度：冷启动通常在 10 秒以内
- 适用设备：可在树莓派等嵌入式设备上运行，但速度较慢
- 局限性：中文原生支持较弱，大模型初始化时间较长，微调功能相对复杂
适用场景
- 本地知识库问答：利用本地文档构建私有客服系统
