llama.cpp：本地大模型推理的高性能 C++ 框架

一、基本介绍

llama.cpp是由Georgi Gerganov发起的纯C/C++开源框架，专注于在本地设备（如普通PC、树莓派、嵌入式终端）上实现低资源、高性能的大语言模型（LLM）推理。其核心目标是打破云端依赖，让开发者能在消费级硬件上本地运行Meta LLaMA、Mistral、Gemma等主流开源模型，兼顾隐私保护与推理效率。

二、核心特点

1. 极致轻量与高效

• 纯C/C++实现：无第三方依赖，对CPU架构（x86、ARM）深度优化，支持4-bit、8-bit等低精度量化（如GGUF格式），大幅降低模型体积（例如7B参数模型可压缩至4GB以内）和内存占用。
• 多硬件加速：支持多核CPU并行计算，同时兼容CUDA（NVIDIA GPU）、Metal（Apple Silicon）、Vulkan等GPU后端，提升推理速度。

2. 跨平台支持

可运行于Linux、macOS、Windows、Android、iOS等主流系统，甚至能在树莓派、Steam Deck等嵌入式设备上部署，覆盖从服务器到终端的全场景。

3. 开源与生态丰富

• 完全