llama.cpp 性能基准库 llama-bench 使用指南：参数调优与多场景测试

GPU 层分配（-ngl）：释放硬件计算能力

GPU 层数量（-ngl）是影响性能的关键参数。通过将模型层卸载到 GPU，可显著提升速度。实测 7B 模型在 RTX 4080 上的性能变化：

./llama-bench -m models/7B/ggml-model-q4_0.gguf -ngl 10,20,30,35

测试结果显示，当 -ngl=35 时（完全卸载所有层），生成速度从 13 t/s 提升至 131 t/s，提升 9 倍：

线程数优化（-t）：CPU 资源高效利用

CPU 线程数设置需平衡核心数量与内存带宽。推荐测试线程数为 CPU 核心数的 1-2 倍：

./llama-bench -t 4,8,16,32 -p 64 -n 16

在 8 核 CPU 上的实测表明，线程数超过 8 后性能提升趋于平缓：

批处理大小（-b）：提升提示词处理效率

增大批处理大小（-b）可显著提升长提示词处理速度，但需注意显存限制：

./llama-bench -b 128,256,512,1024 -p 1024 -n 0

测试显示，当批处理大小从 128 增至 1024 时，PP 速度提升近 70%：

高级应用：自动化测试与数据分析

多模型对比测试

同时测试多个模型的性能差异，快速选择最优量化方案：

./llama-bench \
-m models/7B/ggml-model-q4_0.gguf \
-m models/7B/ggml-model-q8_0.gguf \
-p 0 -n 128,256

5 种输出格式与自动化分析

llama-bench 支持多种输出格式，满足不同分析需求：

例如，生成 JSON 格式结果用于后续分析：

./llama-bench -o json > performance.json

JSON 输出包含详细的测试元数据，如 CPU 型号、GPU 信息和每轮测试的原始数据：

{ "build_commit": "8cf427ff", "cpu_info": "AMD Ryzen 7 7800X3D", "gpu_info": "NVIDIA RTX 4080", "model_type": "qwen2 7B Q4_K - Medium", "avg_ts": 119.844681, "stddev_ts": 0.699739, "samples_ts": [120.038, 120.203, 118.624, 120.377, 119.982] }

性能测试最佳实践

测试环境标准化

• 关闭后台程序，避免资源抢占
• 每项测试重复 5 次以上（默认 -r 5）取平均值
• 记录硬件信息（CPU 型号、GPU 显存、内存大小）

常见瓶颈与解决方案

总结与展望

通过 llama-bench 工具，开发者可以系统地优化本地 LLM 部署的性能。关键步骤包括：

1. 运行默认测试建立基准线
2. 调整 GPU 层分配（-ngl）和线程数（-t）释放硬件潜力
3. 优化批处理大小（-b）提升吞吐量
4. 导出数据（CSV/JSON）进行深度分析

随着 llama.cpp 项目的持续迭代，未来性能测试将支持更多硬件加速（如 SYCL/Metal 后端）和高级特性（如 speculative decoding）。建议定期运行基准测试，追踪性能优化效果。