llama.cpp 性能基准测试与参数调优实战指南
在本地部署大语言模型(LLM)时,性能优化往往是绕不开的核心问题。同样的硬件配置,为何有人能跑 100 tokens/秒,而你却卡在 20 tokens/秒?这通常源于参数配置的差异。本文将深入探讨 llama.cpp 官方提供的性能测试工具——llama-bench,通过标准化测试流程和参数调优技巧,帮助开发者挖掘硬件潜力。
为什么需要标准化性能测试?
相同的模型在不同硬件和参数配置下,吞吐量(tokens/秒)可能相差数倍。llama-bench 工具通过标准化的测试流程,帮助开发者验证硬件利用率、对比不同量化模型的性能差异,并优化线程数、GPU 层分配等关键参数。
核心指标
llama-bench 主要关注两类核心性能指标:
- PP(Prompt Processing):提示词处理速度(tokens/秒),衡量模型理解输入的效率。
- TG(Text Generation):文本生成速度(tokens/秒),决定对话响应的流畅度。
快速上手:完成基准测试
环境准备
确保已编译 llama.cpp 项目,生成 llama-bench 可执行文件:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make llama-bench
基础测试命令
使用默认参数运行基准测试(需提前准备好 GGUF 格式模型):
./llama-bench -m models/7B/ggml-model-q4_0.gguf
默认测试将输出 Markdown 格式的结果表格,包含提示词处理(512 tokens)和文本生成(128 tokens)的平均速度:
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| llama 7B mostly Q4_0 | 3.56GiB | 6.74B | CUDA | 99 | pp512 | 2368.80±93.24 |
| llama 7B mostly Q4_0 | 3.56GiB | 6.74B | CUDA | 99 | tg128 | 131.42±0.59 |
测试类型详解
llama-bench 支持三种测试模式,通过参数组合灵活配置:
| 测试模式 | 参数组合 | 适用场景 |
|---|---|---|
| 仅提示词处理 | -p 1024 -n 0 | 评估长文档理解性能 |
| 仅文本生成 | -p 0 -n 256 | 优化对话生成流畅度 |
| 混合测试 | -pg 512,128 | 模拟实际对话场景 |

