Ubuntu 24.04 GPU 服务器测试系统盘制作指南

安装迈络思驱动

官方下载地址：https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/ 解压执行安装即可。

安装 CUDA

官方下载地址：https://developer.nvidia.com/cuda-toolkit-archive 执行安装即可。

# 下载后赋予执行权限，执行即可
chmod +x cuda_13.0.0_580.65.06_linux.run
./cuda_13.0.0_580.65.06_linux.run
# 中途输入 accept，回车和选择 install 继续安装，回车
# 安装完成后配置 CUDA 设置全局配置 (直接输入)
export CUDA_HOME=/usr/local/cuda-13.0
export PATH=${CUDA_HOME}/bin:${PATH}
export LD_LIBRARY_PATH=${CUDA_HOME}/lib64:${LD_LIBRARY_PATH}
# 更新全局变量并查看 CUDA 版本
apt install -y nvidia-cuda-toolkit
cd ~
source ~/.bashrc
nvcc --version

安装 gpu-burn 压测工具

解压编译安装即可。

# 解压压缩文件
unzip gpu-burn-master.zip
# 进入文件目录并编译
cd gpu-burn-master
make
# 编译完成后文件目录内会出现 gpu-burn 的可执行文件

安装 nvidia-fabricmanager 服务

# 直接网络下载即可
apt install -y nvidia-fabricmanager-580
# 下载后需要在有模组的物理服务器环境上才能开启并查看此服务状态。
# 如果有模组环境下活动 (Active) 属性哪里会显示活动已激活状态，没有模组的话会显示失败。
systemctl status nvidia-fabricmanager.service
systemctl start nvidia-fabricmanager.service
# 如果安装时有提示缺少安装依赖的话，可以 nvidia 官网下载相关包安装既可。
dpkg -i <文件名称>.deb
# 安装完成后再次查看状态，状态正常就说明没有问题了

安装完后就可以测试 gpu-burn 压测了，有问题时尝试重新安装 nvidia-fabricmanager.service 服务。

# 执行文件即可，-t 表示多多线程，-c 表示测试算力，最后压测时间单位为 s/秒。
./gpu-burn -tc 3600

安装 Fieldiag（FLD）

安装 nvidia-imex 服务 官方下载地址：https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2404/x86_64/ nvidia-imex 服务是用于 NVLink Multi-Node CUDA 作业的关键组件，主要负责节点间的消息交换和通信管理，如果不安装的话 Fieldiag 测试可能会出错。

# 下载导入后 dpkg 安装即可
dpkg -i nvidia-imex_580.65.06-1_amd64.deb

安装 FLD

# 解压既可，不同版本看后缀格式解压
unzip 629-26287-0001-FLD-42704.zip
tar -zxvf 629-26287-0102-FLD-43576.tar.gz
# 进入目录赋予全部文件执行权限即可，FLD 属于脚本文件免安装文件，不需要安装编译。
chmod +x ./*

安装 DCGM

# 直接 dpkg 安装即可
dpkg -i datacenter-gpu-manager-4-core_4.1.1_amd64.deb
dpkg -i datacenter-gpu-manager-4-cuda12_4.1.1_amd64.deb
# 直接测试使用即可，如果安装成功会显示没有测试实体
dcgmi diag -r 4

安装 nccl

安装 openmpi 官方下载地址：https://www.open-mpi.org/software/ompi/v3.1/ openmpi-4.1.8 的包可能与 nccl 相关联，直接下载解压执行安装文件即可。

# 解压进入目录
tar -zxvf openmpi-4.1.8.tar.gz
cd openmpi-4.1.8/
# 执行文件自带安装文件即可（若无执行权限，赋予权限既可）
./configure

安装 nccl

# dpkg 安装 deb 格式文件
dpkg -i libnccl2_2.28.3-1+cuda13.0_amd64.deb
dpkg -i libnccl-dev_2.28.3-1+cuda13.0_amd64.deb
# unzip 解压 zip 格式文件并编译
unzip nccl-tests-master.zip
cd nccl-tests-master/
&& make