8 卡 RTX 5090 服务器 llama.cpp 部署与测试指南

输出应显示 8 张 RTX 5090、驱动版本 590.xx、CUDA Version 12.4+。

三、安装 CUDA Toolkit（llama.cpp 依赖）

3.1 安装 CUDA 12.4（与 590 驱动匹配）

# 下载 CUDA 12.4 安装包
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run

# 安装（仅安装 CUDA Toolkit，不装驱动）
sudo sh cuda_12.4.0_550.54.14_linux.run --silent --toolkit

# 配置环境变量
echo 'export PATH=/usr/local/cuda-12.4/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 验证 CUDA
nvcc -V
# 输出应显示 release 12.4

3.2 安装基础编译工具（llama.cpp 多 GPU 核心依赖）

sudo apt update
sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

四、安装 llama.cpp 编译依赖

# 基础编译工具
sudo apt update
sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

# 验证依赖
gcc --version  # ≥11
cmake --version # ≥3.22

五、编译 llama.cpp（开启 8 卡 CUDA 加速）

5.1 克隆源码

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

5.2 编译（开启 CUDA + 多 GPU + 5090 算力 sm_120）

# 关键参数：
# LLAMA_CUDA=1：启用 CUDA
# LLAMA_CUDA_DMMV_X=32：提升多 GPU 显存效率
# LLAMA_CUDA_N_GRAPH_LAYERS=9999：全层 GPU 卸载
# LLAMA_CUDA_ARCHS=120：5090 专属算力（sm_120）
cmake -B build \
    -DLLAMA_CUDA=ON \
    -DLLAMA_CUDA_DMMV_X=32 \
    -DLLAMA_CUDA_N_GRAPH_LAYERS=9999 \
    -DLLAMA_CUDA_ARCHS=120 \
    -DCMAKE_BUILD_TYPE=Release

# 8 线程编译（匹配服务器 CPU 核心）
cmake --build build -j$(nproc)

5.3 验证编译

./build/bin/llama-cli --help | grep -E "cuda|gpu"
# 应输出：--cuda, --gpu-layers N 等 CUDA 参数

六、准备 GGUF 模型（测试用）

6.1 下载测试模型（以 Qwen3 32B Q4_K_M 为例）

# 进入模型目录
mkdir -p models && cd models

# 下载 Qwen3 32B Q4_K_M 量化模型（4-bit，显存友好）
wget https://hf-mirror.com/bartowski/Qwen_Qwen3-32B-GGUF/resolve/main/Qwen_Qwen3-32B-Q4_K_M.gguf

cd ..

七、8 卡 5090 llama.cpp 测试（核心步骤）

7.1 单卡基础测试（验证 CUDA）

cd ..
./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "你好"

同时另开一个终端，执行 watch -n 1 nvidia-smi。

7.2 8 卡并行测试（多 GPU 自动负载均衡）

llama.cpp 自动识别所有 NVIDIA GPU，无需手动指定卡 ID。

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 1024 \
--gpu-layers 99 \
-t 32 \
-c 16384 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 1024 \
--mlock \
--flash-attn on

7.3 8 卡显存与负载验证

新开终端，实时监控：

watch -n 1 nvidia-smi

8 张 5090 显存均被占用（≈4GB/卡）、GPU 利用率 = 55%。

八、性能调优（8 卡 5090 专属）

8.1 关键参数优化

# 8 卡极致性能参数
./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 2048 \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" \
--batch-size 2048 \
--mlock \
--flash-attn on \
--no-mmap \
--numa distribute

参数说明：

• -n 2048：将最大生成 token 数提升至 2048，满足更长篇幅的技术概述撰写需求；
• -t 64：分配 64 个 CPU 线程，匹配多 GPU 并行推理的 CPU 调度需求，提升协同效率；
• -c 32768：将上下文长度提升至 32768，支持更长文本输入与生成，适配技术概述的深度撰写；
• --batch-size 2048：提升批量推理效率，适配 8×RTX 5090 多 GPU 并行算力；
• --mlock：锁定内存，避免内存交换（swap），提升多 GPU 推理稳定性；
• --flash-attn on：启用 Flash Attention 优化，充分发挥 RTX 5090 硬件性能，显著提升推理速度；
• --no-mmap：禁用内存映射（mmap），减少内存开销，进一步提升多 GPU 协同推理速度；
• --numa distribute：启用 NUMA（非统一内存访问）优化，采用'distribute'模式，将执行任务均匀分配到所有 CPU 节点，适配多 CPU 节点服务器，平衡 CPU 与多 GPU 之间的内存访问效率，避免资源瓶颈。

8.2 多 GPU 显存分配（手动指定）

如需手动分配层到不同 GPU：

# 示例：前 40 层到 GPU0，后 40 层到 GPU1-7
./build/bin/llama-cli -m models/Qwen_Qwen3-32B-Q4_K_M.gguf -n 2048 --gpu-layers 80 --main-gpu 0 -t 64 -c 32768 -p "撰写关于 8x RTX 5090 服务器用于大语言模型（LLM）推理的技术概述。" --batch-size 2048 --mlock --flash-attn on --no-mmap --numa distribute

补充：llama.cpp 不支持 --cuda-devices 参数，无需手动指定 GPU 设备（0-7），通过 --main-gpu 0 即可实现分层分配，系统会自动识别剩余 GPU 并分配后续层数。

九、常见问题排查

1. nvidia-smi 只显示部分卡

   • 重启服务器、检查 PCIe 插槽与供电
   • 确认驱动为 590-open，非闭源

2. llama.cpp 只跑 CPU，不调用 GPU

   • 编译时必须加 -DLLAMA_CUDA=ON
   • 运行时加 --gpu-layers ≥32
   • 验证 CUDA：nvcc -V

3. 显存溢出（OOM）

   • 降低 --gpu-layers（如 99→80）
   • 使用更低量化（Q3_K_M）
   • 增大 -c 上下文窗口

4. 5090 报错：Failed to allocate NvKmsKapiDevice

   • 必须用 nvidia-driver-xxx-open 开源驱动
   • 内核必须 ≥6.8

十、最终验证

执行以下命令，确认 8 卡 5090 全量工作：

./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 4096 \
--gpu-layers 99 \
-t 64 \
-c 32768 \
-p "阐述 8x RTX 5090 在大型语言模型部署中的优势。" \
--batch-size 2048 \
--mlock \
--flash-attn on

十一、基准测试效果

使用 llama-bench 正确的参数格式：

./build/bin/llama-bench \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-t 64 \
-p 512,2048,8192 \
-n 128,512,2048 \
-ngl 99 \
-b 2048 \
-ub 512 \
-fa 1 \
-r 3
2>&1 | tee benchmark_results.txt

build: 08f21453a (8589)