8 卡 RTX 5090 服务器 llama.cpp 编译及多 GPU 推理实战

2.3 安装 5090 专用开源驱动

RTX 5090（Blackwell）必须使用 open-dkms 开源内核模块驱动，闭源驱动会报错。推荐使用 nvidia-driver-590-open：

# 添加显卡驱动 PPA
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# 安装 590-open 驱动（5090 推荐）
sudo apt install nvidia-driver-590-open -y

# 重启
sudo reboot

# 验证驱动（8 卡均正常显示）
nvidia-smi

输出应显示 8 张 RTX 5090、驱动版本 590.xx、CUDA Version 12.4+。

三、安装 CUDA Toolkit

3.1 安装 CUDA 12.4

需与 590 驱动匹配：

# 下载 CUDA 12.4 安装包
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run

# 安装（仅安装 CUDA Toolkit，不装驱动）
sudo sh cuda_12.4.0_550.54.14_linux.run --silent --toolkit

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.4/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证 CUDA
nvcc -V
# 输出应显示 release 12.4

3.2 安装基础编译工具

llama.cpp 多 GPU 核心依赖如下：

sudo apt update
sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

四、编译 llama.cpp（开启 8 卡 CUDA 加速）

4.1 克隆源码

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

4.2 编译关键参数

这里需要特别注意几个参数，它们决定了多卡性能：

• LLAMA_CUDA=ON：启用 CUDA
• LLAMA_CUDA_DMMV_X=32：提升多 GPU 显存效率
• LLAMA_CUDA_N_GRAPH_LAYERS=9999：全层 GPU 卸载
• LLAMA_CUDA_ARCHS=120：5090 专属算力（sm_120）

cmake -B build \
    -DLLAMA_CUDA=ON \
    -DLLAMA_CUDA_DMMV_X=32 \
    -DLLAMA_CUDA_N_GRAPH_LAYERS=9999 \
    -DLLAMA_CUDA_ARCHS=120 \
    -DCMAKE_BUILD_TYPE=Release

# 8 线程编译（匹配服务器 CPU 核心）
cmake --build build -j$(nproc)

4.3 验证编译

./build/bin/llama-cli --help | grep -E "cuda|gpu"
# 应输出：--cuda, --gpu-layers N 等 CUDA 参数

五、准备 GGUF 模型

以 Qwen3 32B Q4_K_M 量化模型为例（4-bit，显存友好）：

mkdir -p models && cd models
wget https://hf-mirror.com/bartowski/Qwen_Qwen3-32B-GGUF/resolve/main/Qwen_Qwen3-32B-Q4_K_M.gguf
cd ..

六、8 卡 5090 llama.cpp 测试

6.1 单卡基础测试

先验证 CUDA 是否正常调用：

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "你好"

同时另开一个终端监控：

watch -n 1 nvidia-smi

6.2 8 卡并行测试

llama.cpp 自动识别所有 NVIDIA GPU，无需手动指定卡 ID，实现多 GPU 自动负载均衡。

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 1024 \
--gpu-layers 99 \
-t 32 \
-c 16384 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 1024 \
--mlock \
--flash-attn on

[ Prompt: 289.1 t/s | Generation: 66.6 t/s ]

此时 8 张 5090 显存均被占用（≈4GB/卡），GPU 利用率 = 55%。

七、性能调优（8 卡 5090 专属）

7.1 关键参数优化

为了榨干 8 卡 5090 的性能，建议调整以下参数：

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 2048 \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 2048 \
--mlock \
--flash-attn on \
--no-mmap \
--numa distribute

参数解读：

• -n 2048：最大生成 token 数提升至 2048，满足长文本需求。
• -t 64：分配 64 个 CPU 线程，匹配多 GPU 并行推理的调度需求。
• -c 32768：上下文长度提升至 32768，支持深度推理。
• --batch-size 2048：提升批量推理效率，适配 8×RTX 5090 多 GPU 算力。
• --mlock：锁定内存，避免 swap 交换，提升稳定性。
• --flash-attn on：启用 Flash Attention 优化，充分发挥 5090 硬件性能。
• --no-mmap：禁用内存映射，减少开销，进一步提升协同速度。
• --numa distribute：NUMA 优化，将任务均匀分配到所有 CPU 节点，平衡内存访问效率。

[ Prompt: 280.4 t/s | Generation: 65.2 t/s ]

7.2 多 GPU 显存分配

如需手动控制层分布（例如前 40 层到 GPU0，后 40 层到 GPU1-7）：

./build/bin/llama-cli -m models/Qwen_Qwen3-32B-Q4_K_M.gguf -n 2048 --gpu-layers 80 --main-gpu 0 -t 64 -c 32768 -p "..." --batch-size 2048 --mlock --flash-attn on --no-mmap --numa distribute

注意：llama.cpp 不支持 --cuda-devices 参数，通过 --main-gpu 0 即可实现分层分配，系统会自动识别剩余 GPU 并分配后续层数。

八、常见问题排查

1. nvidia-smi 只显示部分卡

   • 重启服务器，检查 PCIe 插槽与供电。
   • 确认驱动为 590-open，非闭源。

2. llama.cpp 只跑 CPU，不调用 GPU

   • 编译时必须加 -DLLAMA_CUDA=ON。
   • 运行时加 --gpu-layers ≥32。
   • 验证 CUDA：nvcc -V。

3. 显存溢出（OOM）

   • 降低 --gpu-layers（如 99→80）。
   • 使用更低量化（Q3_K_M）。
   • 增大 -c 上下文窗口。

4. 5090 报错：Failed to allocate NvKmsKapiDevice

   • 必须用 nvidia-driver-xxx-open 开源驱动。
   • 内核必须 ≥6.8。

九、性能基准测试

执行以下命令进行最终验证，确认 8 卡 5090 全量工作：

./build/bin/llama-bench \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-t 64 \
-p 512,2048,8192 \
-n 128,512,2048 \
-ngl 99 \
-b 2048 \
-ub 512 \
-fa 1 \
-r 3 \
2>&1 | tee benchmark_results.txt

测试结果参考：

build: 08f21453a (8589)