llama.cpp 多 GPU 分布式计算优化实践
针对大模型推理时单卡显存不足、加载缓慢或生成效率低的问题,本文从实战角度梳理 llama.cpp 的多 GPU 性能优化方案。重点解决分布式推理中的设备调度、显存分配和并行效率三大核心难题,涵盖环境配置、参数调优及问题诊断流程。
多 GPU 架构解析:从设备发现到任务调度
llama.cpp 基于 GGML 后端实现跨设备计算调度,核心逻辑位于源码的设备管理模块。程序启动后会自动扫描可用计算设备,按优先级分为独立 GPU、集成显卡 (iGPU) 和 RPC 服务器三类。设备选择遵循'能力优先'原则,本地独立显卡通常优于网络节点。
// src/llama.cpp:190-248 设备分类与优先级排序
std::vector<ggml_backend_dev_t> gpus;
std::vector<ggml_backend_dev_t> igpus;
std::vector<ggml_backend_dev_t> rpc_servers;
// 优先添加 RPC 服务器,减少网络传输
model->devices.insert(model->devices.begin(), rpc_servers.begin(), rpc_servers.end());
// 其次添加独立 GPU
model->devices.insert(model->devices.end(), gpus.begin(), gpus.end());
// 最后添加集成 GPU(仅当无其他设备时)
if (model->devices.empty()) {
model->devices.insert(model->devices.end(), igpus.begin(), igpus.end());
}
每个设备会显示类型、ID 和可用显存信息,典型输出如下:
llama_model_load_from_file: using device 0 (GPU) (NVIDIA GeForce RTX 4090) (PCIe 4.0) - 23028 MiB free
llama_model_load_from_file: using device 1 (GPU) (NVIDIA GeForce RTX 3060) (PCIe 3.0) - 11019 MiB free

