PVE 配置显卡直通指南：本地部署 AI 大模型基础环境

执行后应显示生成 grub 配置文件成功。

2.2 屏蔽宿主机默认驱动

为了防止宿主机占用显卡，必须在直通前屏蔽其默认驱动。

1. 创建黑名单文件

   vi /etc/modprobe.d/blacklist.conf
   

2. 添加屏蔽规则 根据显卡品牌选择对应内容：

   # NVIDIA 显卡屏蔽
   blacklist nouveau
   blacklist nvidia
   blacklist nvidiafb
   blacklist nvidia_drm
   
   # AMD 显卡屏蔽（如需）
   # blacklist amdgpu
   # blacklist radeon
   

   保存后执行 update-initramfs -k all -u 更新镜像。

2.3 其他关键配置

允许不安全的中断

某些硬件环境下，IOMMU 可能无法完美处理所有中断请求，导致直通失败。可添加以下配置允许不安全中断：

echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf

NVIDIA 稳定性优化

为防止虚拟机异常导致宿主机崩溃，可调整 KVM 参数：

echo "options kvm ignore_msrs=1 report_ignored_msrs=0" > /etc/modprobe.d/kvm.conf

• ignore_msrs：忽略未处理的 MSR 写入。
• report_ignored_msrs：不报告此类异常。

2.4 更新内核引导文件并重启

update-initramfs -k all -u
reboot

3. 创建虚拟机并配置硬件

1. 创建 Ubuntu 虚拟机 在 PVE 界面新建 VM，分配足够的 CPU 核心和内存（建议至少 4 核 8G）。

2. 添加 PCI 设备

   • 选中虚拟机 -> 硬件 -> 添加 -> PCI 设备。
   • 点击 扫描 PCI 设备，找到对应的 NVIDIA 显卡（Vendor ID 通常为 10de）。
   • 勾选 All Functions（所有功能），确保声卡等附属设备也被直通。
   • 勾选 Primary GPU（可选，视需求而定）。
   • 点击 添加 并启动虚拟机。

4. 虚拟机内部驱动安装与验证

虚拟机启动后，需要安装 NVIDIA 专有驱动才能识别显卡。

4.1 准备环境

进入 Ubuntu 虚拟机终端，更新源并安装必要工具：

sudo apt update
sudo apt install build-essential dkms linux-headers-$(uname -r)

4.2 安装 NVIDIA 驱动

推荐使用官方 .run 文件或 PPA 源。以下以官方驱动为例：

1. 下载驱动 前往 NVIDIA 官网下载对应版本的 Linux 驱动包（如 550.xx 版本）。

2. 停止图形界面服务

   sudo systemctl stop gdm3  # 或使用 lightdm
   

3. 安装驱动

   chmod +x NVIDIA-Linux-x86_64-550.54.15.run
   sudo ./NVIDIA-Linux-x86_64-550.54.15.run --no-opengl-files
   

   注意：安装过程中若提示保留当前配置，选择 No；若询问是否注册内核模块，选择 Yes。

4. 重启虚拟机

   sudo reboot
   

4.3 验证显卡状态

驱动安装完成后，执行以下命令检查：

nvidia-smi

若能看到显卡型号（如 P104-100）、显存大小及驱动版本，说明直通成功。

示例输出：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15              Driver Version: 550.54.15      CUDA Version: 12.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA P104-100       On  | 00000000:00:10.0 Off |                  N/A |
| 72%   35C    P8              6W /  180W |       2MiB /   8192MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

4.4 AI 框架测试

若需运行 LLM，建议进一步测试 PyTorch 是否识别到 GPU：

import torch
print(torch.cuda.is_available())
print(torch.cuda.get_device_name(0))

若输出 True 及显卡名称，则环境配置完全就绪。

5. 常见问题排查

5.1 无法找到 PCI 设备

• 检查 BIOS 中 VT-d/IOMMU 是否开启。
• 检查 dmesg 是否有 vfio-pci 绑定成功的日志。
• 尝试调整 pcie_acs_override 参数为 downstream,multifunction。

5.2 虚拟机启动黑屏

• 可能是显卡被宿主机占用，检查 /etc/modprobe.d/blacklist.conf 是否正确生效。
• 尝试移除虚拟机的 VGA 显示设备，仅保留直通显卡。

5.3 驱动安装失败

• 确保虚拟机内核头文件版本与运行内核一致。
• 检查是否启用了 Secure Boot，如有请关闭或在驱动签名中导入密钥。

6. 总结

通过上述步骤，我们成功在 PVE 平台上实现了 NVIDIA 显卡的直通，为本地 AI 大模型推理提供了硬件加速基础。该方案不仅降低了算力成本，还保证了数据隐私安全。后续可根据实际需求进一步优化网络配置、存储挂载及容器化部署（如 Docker + Kubernetes），构建更完善的私有化 AI 基础设施。