8 卡 RTX 5090 服务器 llama.cpp 部署与性能调优指南

2.2 安装高版本 HWE 内核

# 安装 6.8+ HWE 内核
sudo apt update
sudo apt install linux-generic-hwe-22.04 -y
sudo reboot

# 验证内核版本（必须≥6.8）
uname -r
# 输出示例：6.8.0-45-generic

2.3 安装 5090 专用开源驱动

# 添加显卡驱动 PPA
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# 安装 590-open 驱动（5090 推荐）
sudo apt install nvidia-driver-590-open -y

# 重启并验证
sudo reboot
nvidia-smi

输出应显示 8 张 RTX 5090、驱动版本 590.xx、CUDA Version 12.4+。

三、安装 CUDA Toolkit 与编译依赖

3.1 安装 CUDA 12.4

# 下载 CUDA 12.4 安装包
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run

# 安装（仅安装 CUDA Toolkit，不装驱动）
sudo sh cuda_12.4.0_550.54.14_linux.run --silent --toolkit

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.4/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证 CUDA
nvcc -V
# 输出应显示 release 12.4

3.2 安装基础编译工具

llama.cpp 需要 C++ 编译环境及 OpenBLAS 支持。

sudo apt update
sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

# 验证依赖
gcc --version   # ≥11
cmake --version # ≥3.22

四、编译 llama.cpp（开启 8 卡 CUDA 加速）

4.1 克隆源码

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

4.2 编译配置

关键参数说明：

• LLAMA_CUDA=ON：启用 CUDA 后端
• LLAMA_CUDA_DMMV_X=32：提升多 GPU 显存效率
• LLAMA_CUDA_N_GRAPH_LAYERS=9999：全层 GPU 卸载
• LLAMA_CUDA_ARCHS=120：5090 专属算力（sm_120）

cmake -B build \
    -DLLAMA_CUDA=ON \
    -DLLAMA_CUDA_DMMV_X=32 \
    -DLLAMA_CUDA_N_GRAPH_LAYERS=9999 \
    -DLLAMA_CUDA_ARCHS=120 \
    -DCMAKE_BUILD_TYPE=Release

# 8 线程编译（匹配服务器 CPU 核心）
cmake --build build -j$(nproc)

4.3 验证编译

./build/bin/llama-cli --help | grep -E "cuda|gpu"
# 应输出：--cuda, --gpu-layers N 等 CUDA 参数

五、准备 GGUF 模型

以 Qwen3 32B Q4_K_M 量化模型为例（4-bit，显存友好）：

mkdir -p models && cd models
wget https://hf-mirror.com/bartowski/Qwen_Qwen3-32B-GGUF/resolve/main/Qwen_Qwen3-32B-Q4_K_M.gguf
cd ..

六、8 卡 5090 llama.cpp 测试

6.1 单卡基础测试

验证 CUDA 是否正常调用：

cd ..
./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "你好"

同时另开一个终端监控：

watch -n 1 nvidia-smi

6.2 8 卡并行测试

llama.cpp 自动识别所有 NVIDIA GPU，无需手动指定卡 ID，实现负载均衡。

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 1024 \
--gpu-layers 99 \
-t 32 \
-c 16384 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 1024 \
--mlock \
--flash-attn on

Prompt: 289.1 t/s | Generation: 66.6 t/s

6.3 显存与负载验证

实时监控显示：8 张 5090 显存均被占用（≈4GB/卡）、GPU 利用率 = 55%。

七、性能调优（8 卡 5090 专属）

7.1 关键参数优化建议

以下参数组合旨在最大化 8 卡并行效率，适配长文本生成需求：

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 2048 \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 2048 \
--mlock \
--flash-attn on \
--no-mmap \
--numa distribute

参数解析：

• -n 2048: 最大生成 token 数，满足长篇幅需求。
• -t 64: 分配 64 个 CPU 线程，匹配多 GPU 并行调度。
• -c 32768: 上下文长度提升至 32K，支持深度推理。
• --batch-size 2048: 提升批量推理效率，适配 8×RTX 5090 算力。
• --mlock: 锁定内存，避免 Swap 交换，提升稳定性。
• --flash-attn on: 启用 Flash Attention，发挥 5090 硬件性能。
• --no-mmap: 禁用内存映射，减少开销。
• --numa distribute: NUMA 优化，将任务均匀分配到 CPU 节点，平衡内存访问效率。

[Prompt: 280.4 t/s | Generation: 65.2 t/s]

7.2 多 GPU 显存分配

如需手动控制层分布（例如前 40 层到 GPU0，后 40 层到 GPU1-7）：

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 2048 \
--gpu-layers 80 \
--main-gpu 0 \
-t 64 \
-c 32768 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 2048 \
--mlock \
--flash-attn on \
--no-mmap \
--numa distribute

注意： llama.cpp 不支持 --cuda-devices 参数，通过 --main-gpu 0 即可实现分层分配，系统会自动识别剩余 GPU 并分配后续层数。

[Prompt: 248.7 t/s | Generation: 65.1 t/s]

八、常见问题排查

1. nvidia-smi 只显示部分卡
   • 重启服务器，检查 PCIe 插槽与供电。
   • 确认驱动为 590-open，非闭源。
2. llama.cpp 只跑 CPU，不调用 GPU
   • 编译时必须加 -DLLAMA_CUDA=ON。
   • 运行时加 --gpu-layers ≥32。
   • 验证 CUDA：nvcc -V。
3. 显存溢出（OOM）
   • 降低 --gpu-layers（如 99→80）。
   • 使用更低量化（Q3_K_M）。
   • 增大 -c 上下文窗口。
4. 5090 报错：Failed to allocate NvKmsKapiDevice
   • 必须用 nvidia-driver-xxx-open 开源驱动。
   • 内核必须 ≥6.8。

九、基准测试与最终验证

执行以下命令确认 8 卡 5090 全量工作：

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 4096 \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "阐述 8x RTX 5090 在大型语言模型部署中的优势。" \
--batch-size 2048 \
--mlock \
--flash-attn on

[Prompt: 229.4 t/s | Generation: 65.7 t/s]

使用 llama-bench 进行正式 Benchmark：

./build/bin/llama-bench \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-t 64 \
-p 512,2048,8192 \
-n 128,512,2048 \
-ngl 99 \
-b 2048 \
-ub 512 \
-fa 1 \
-r 3 \
2>&1 | tee benchmark_results.txt

build: 08f21453a (8589)