CVPR 2024 论文解读：SuGaR 实现 3DGS 到 Mesh 的高效转换

高效网格提取：

3. 主要贡献

• 正则化项：使高斯函数更准确地表示场景几何。
• 高效网格提取算法：在几分钟内从高斯函数中提取高质量三角网格。
• 高斯与网格的绑定：通过联合优化实现更高质量的渲染，并支持场景编辑，扩展了 3D Gaussian Splatting 在计算机图形学中的应用。

Related Works

图像基渲染（Image-Based Rendering, IBR）

• 背景：
  • IBR 方法利用二维图像生成场景表示并渲染新视图。最早的 IBR 方法基于光场（light fields），强调体视渲染（volume rendering）在生成真实感图像中的重要性。
  • 场景表示形式包括三角网格、点云、体视网格、多平面图像（MPI）和神经隐式函数等。
• 传统基于网格的 IBR 方法：
  • 基于结构从运动（Structure-from-Motion, SfM）和多视图立体（Multi-View Stereo, MVS）技术，可以重建场景的 3D 表面，生成三角网格表示。
  • 这些方法通过纹理三角形或图像的变形与混合来生成新视图，结合传统图形硬件和软件实现高效渲染。然而，在复杂区域（如薄结构或高光区域），这些方法难以准确捕捉几何和外观。
  • 近期研究引入深度学习优化网格表示，弥合了传统图形学与机器学习的差距。
• 体视 IBR 方法：
  • 体视方法使用体视网格、多平面图像或神经网络表示场景为连续的体视密度和颜色函数。NeRF 通过多层感知机（MLP）参数化连续体视函数，实现了具有细致细节和视角依赖效果的真实感渲染。
  • NeRF 的缺点是计算复杂且内存需求高。后续改进通过体视网格、哈希表、分层采样或低秩近似优化了性能，但仍依赖体视光线追踪（ray marching），与传统图形硬件不兼容。
  • 一些研究改进了 NeRF 的几何和辐射表示，支持高光材质或场景重新光照。
• 混合 IBR 方法：
  • 混合方法结合体视和表面表示，通过可微渲染优化神经 SDF，生成适合下游图形应用的网格。这些方法通常通过 Marching Cubes 从 SDF 中提取网格，但实时渲染能力有限。
  • BakedSDF 通过优化神经 SDF 并将其'烘焙'到高分辨率三角网格上，结合网格渲染和深度学习实现实时渲染，但训练需要 48 小时。NeRFMeshing 也通过'烘焙'NeRF 生成网格，但渲染质量较低（PSNR 较低），且需要多 GPU 支持和较长的训练时间。
  • 相比之下，SuGaR 方法在提取网格和渲染质量上更高效，且训练时间短。
• 基于点的 IBR 方法：
  • 基于点的表示（如 3D Gaussian Splatting）擅长捕捉薄几何，利用快速点光栅化（point rasterization）和α混合渲染图像，避免了光线追踪的计算开销。
  • 3D Gaussian Splatting 以其优异的优化和渲染速度成为点基方法的代表，SuGaR 在此基础上进一步解决了网格提取的难题。

3. 3D Gaussian Splatting

该方法使用大量 3D 高斯函数来表示场景，这些高斯函数可以快速渲染新型视图，远优于 NeRF（Neural Radiance Fields）在速度上。

关键组件和原理

• 场景表示：
  • 场景被表示为一个（通常很大的）高斯函数集合。每个高斯函数 g 由以下参数定义：
    • 球谐函数（Spherical Harmonics, SH）系数：描述从不同方向发出的颜色，支持视角依赖效果。
  • 这些参数允许高斯函数捕捉场景的几何和外观。
• 渲染过程：
  • 从给定视角渲染图像时，使用光栅化器（rasterizer）将 3D 高斯函数投影到 2D 图像平面，形成 2D 高斯函数，然后进行渲染。
  • 渲染速度极快，因为它避免了 NeRF 所需的体视光线追踪（ray-marching compositing），而是使用 splatting（溅射）技术直接在图像平面上混合高斯函数。
• 优化过程：
  • 输入：一组场景图像。
  • 初始化：从 SfM（Structure-from-Motion，参考 [32]）生成的点云初始化高斯函数集合。
  • 致密化（Densification）：优化过程中添加更多高斯函数，以更好地拟合场景几何，导致最终场景通常包含数百万个高斯函数，其中许多非常小（用于捕捉细节）。

优化参数：均值 (\mu_g)、四元数 q_g、缩放向量 s_g、不透明度 α_g 和 SH 系数。通过梯度下降等方法，使渲染图像匹配输入图像。

不透明度 \alpha_g \in [0, 1]：用于α混合（alpha blending），控制高斯函数的透明度。

协方差矩阵 \Sigma_g：通过缩放向量 s_g \in \mathbb{R}^3（表示三个轴的缩放）和四元数 q_g \in \mathbb{R}^4（编码旋转）参数化。协方差矩阵描述高斯函数的形状和方向。

均值 \mu_g \in \mathbb{R}^3：高斯函数的中心位置。

优势与局限

• 优势：渲染速度远超 NeRF（几分钟内优化完成），适合实时应用。
• 局限：优化后的高斯函数无序且不紧密贴合表面，导致难以提取网格（如引言所述）。

4. Method

SuGaR 方法分为三个部分：（1）正则化项，使高斯函数与表面对齐；（2）高效网格提取；（3）可选的精炼策略，将新高斯函数绑定到网格并联合优化。整个方法在单 GPU 上高效运行（几分钟内提取网格），并支持网格编辑。

4.1. Aligning the Gaussians with the Surface

动机：原始高斯函数无序且重叠（见图 3），不利于网格提取。作者引入正则化项，鼓励高斯函数均匀分布在表面上，并'扁平化'（即贴合表面）。

4.2. Efficient Mesh Extraction

4.3. Binding New 3D Gaussians to the Mesh

动机：初始网格可进一步精炼，支持编辑（如图 1、7）。

• 过程：
  • 在初始网格上实例化新高斯：每个三角形关联 n 个薄高斯，采样在三角表面。
  • 修改参数化：高斯均值从网格顶点和预定义重心坐标计算；缩放因子减为 2 个，旋转用复数编码（保持扁平、对齐三角）。
  • 优化：联合优化网格顶点、高斯参数（不透明度、SH 系数），使用 Gaussian Splatting 渲染匹配输入图像。
  • 结果：网格可编辑，高斯提供高质量渲染（优于其他方法）。
• 细节：见补充材料。精炼前后对比见图 7，支持动画、重新光照等。

实验

系统评估了 SuGaR 方法的性能，包括实现细节、实时渲染质量、网格提取效果以及渲染消融实验。实验设计严谨，采用标准数据集和指标（如 PSNR、SSIM、LPIPS），并与基线方法（如 3D Gaussian Splatting、I-NGP、Plenoxels、BakedSDF、NeRFMeshing 等）进行比较。强调 SuGaR 在速度（几分钟内提取网格）和质量上的优势。

硬件平台

所有实验在单块 NVIDIA Tesla V100 SXM2 32GB GPU

数据集

• Mip-NeRF360：7 个场景（因许可问题，排除 Flowers 和 Treehill，原 9 个）。
• Tanks&Temples：2 个场景（Truck、Train）。
• DeepBlending：2 个场景（Playroom、Dr. Johnson）。
• 总计 11 个场景，覆盖复杂几何和外观。

Benchmark

• 纯渲染方法：Instant-NGP (I-NGP) [23]、Plenoxels [41]、3D Gaussian Splatting (GS) [15]、Zip-NeRF [2]（聚焦 NVS，无网格）。
• 基于网格方法：BakedSDF [39]、NeRFMeshing [26]、Neuralangelo [6]（使用重建网格，但非纯纹理渲染）。
• SuGaR 变体：R-SuGaR-2K、R-SuGaR-7K、R-SuGaR-15K。

5.3. Mesh Extraction

• Marching Cubes：细网格（very fine voxel grid）。
• Poisson：使用高斯中心作为点云。
• SuGaR 方法：不同水平集 λ（0.1、0.3、0.5）。

见图 3

5.4. Mesh Rendering Ablation

初体验