AnySplat: 无位姿前馈式 3DGS 重建技术解析

3.2 Pipeline

流程是：首先将一组未标定的多视角图像编码为高维特征表示，随后将这些特征解码为 3D 高斯参数及其对应的相机位姿。为应对密集视角下逐像素高斯基元数量线性增长的问题，引入了可微分体素化模块——该模块通过将基元聚类至体素空间，在保持梯度平滑传播的同时显著降低了计算开销。

3.2.1 Geometry Transformer

参考 VGGT 的 Transformer 架构。对于训练集中的任意图片，先将图像划分为边长 $p=14$ 的 patches，然后将每个 patch 使用 DINOv2 编码成为长度为 $d=1024$ 的 token。每张图对应一个 token 序列，并在前面添加特殊 token，对于第一张图片还会额外添加一列位置编码。

所有 N 张图片的 tokens 拼接起来，送入 L 层的交替注意力 Transformer 中进行处理：

1. 帧内注意力：处理形状为 $[N, P, D]$ 的 token
2. 全局注意力：联合处理所有视图的 token

张量图如下：

3.2.2 Decode

利用 per-pixel 的深度信息实现 per-pixel 的高斯球信息。Encoder 层是同一个，但针对不同性质的输出，Decoder 层是各自不一样的。

1. Pose 估计 在 Transformer 中，特征会输入到相机解码器 FC 中进行处理——该解码器包含四层自注意力模块和线性投影头，最终输出各相机参数 $oldsymbol{ heta}_i$。依照惯例，将首个相机位姿设为恒等变换，其余所有位姿均在该共享局部坐标系中表示。

2. Pixel-wise Gaussian Parameter 使用 DPT 解码器来预测高斯球参数。首先，使用 pose + 深度来估计高斯球的中心，这是一个不错的设计。

• 预测深度：Depth head 输入图像 tokens，输出像素级的深度图以及置信度图。
• 预测高斯球中心：根据前面预测的相机 pose，反投影计算得到高斯球的中心位置，所有高斯球的坐标系都在第一帧图像对应的坐标系下。
• 其他参数：高斯球解码器通过两种 features 相加然后送进一个 CNN 回归器得出。一个是 DPT 的 feature，另外一个是浅层 CNN 提取的外观特征。

DPT 的相关介绍略。

3.2.3 Differentiable Voxelization

通过 3R based 方法对于 per-pixel depth 的预测，大部分 3R based-splat 方法实现了 per-pixel gaussian 的预测。实际上，图片高分辨率再加上视图数量的增加，计算成本非常高，很多方法在计算效率上很难从稀疏视角重建扩展到稠密视角。

本文的做法是，使用八叉树来压缩 per-pixel gaussian 的信息，这样将 per-pixel 变成了 per-voxel，大幅度减少计算成本增加了可扩展性。具体来说，先用八叉树分隔 per-pixel 的高斯球中心，然后对于每一个 voxel 内的高斯球赋予一个额外的可学习的权重 attribute，最后，对体素内的所有高斯球属性来个加权平均，这就得到了该体素的高斯属性，达到压缩的目的。

基于 Scaffold-gs 作者构建了一个可微体素模块，也就是把 G 个高斯球中心聚类到 S 个 size 为 $\varepsilon$ 的体素中：

为了保持体素化可微，每个高斯也会预测一个置信度 $C_g$。我们通过 softmax 将这些 scores 转换为体素内的权重，换句话说，也就是每个高斯球在所属 voxel 内所有高斯球中占的权重：

最后，所有的 voxel 都会集成高斯球的综合属性，也就是将任意的 per-pixel 的高斯球属性 $a_g$（比如颜色、不透明度）聚合到 voxel 内，通过下式：

综上，管道的输出由每个体素 $V_s \in {1,...,S}$ 的高斯参数化。我们可以使用可微的高斯光栅化有效地渲染模型预测的高斯。

3.3 训练与推理

3.3.1 Geometry Consistency Loss

同步预测深度图与相机位姿会引入多视角对齐聚合的隐式歧义：当将单图像预测提升至 3D 空间时，这些不一致性会表现为重建点云中的分层伪影（layered sheets）。这类伪影在原始点云中可能不易察觉，但在渲染视图中会显著暴露。比如 Colmap 中计算错误的 3D 点，在稀疏点云中可能肉眼看着不明显，但是送进 GS 里面重建出来就会发现有'重影'。

为解决该问题，提出几何一致性损失（geometry consistency loss），通过强制对齐高斯渲染深度与深度 head 预测的值的一致性来消除分层伪影，重建连贯的表面几何结构。

补充说明：

1. 什么叫同步预测深度图与相机位姿会引入多视角对齐聚合的隐式歧义？ 传统的三角测量需要根据图片特征来求解相机 pose，接着恢复 3D 点并计算深度。这是一个分阶段迭代优化的过程。而在数据驱动方法中，直接用 end-to-end 得到 pose 与深度。如果同时计算深度 D 和相机 pose R，当他们带有扰动时，等式同样会成立，产生误差抵消。结果就是优化不充分，明明误差很接近 0，但是误差藏在解出的值里面，产生错误的解。例如标准解是 $(D^, R^)$，但因为误差抵消，$(D_1, R_1)$ 满足方程，$(D_1-\delta, R_1-\varepsilon)$ 也满足，这样就是一组 2D 点解出了两个 3D 点，常见情况就是出现重影。

2. 单图像预测提升至 3D 空间 即使用 DPT 特征+CNN 特征从 2D 图像编码中预测了深度，结合相机参数将 2D 点升维到 3D。

3.3.2 VGGT Distillation Loss

在没有新视角监督信号的情况下，模型容易对上下文视角过拟合，以规避多视角变化带来的干扰。这会导致泛化性能下降，引发深度与相机位姿预测失败。为解决该问题，利用预训练的 VGGT 模型蒸馏相机参数与场景几何先验（深度）以稳定训练。也就是说，上面的一致性 loss 中深度 head 的预测值是经过 VGGT 蒸馏的。

这种蒸馏损失显著提高了训练稳定性，并有助于避免收敛到不良的局部最小值。

3.3.3 训练办法

AnySplat 采用完全自监督的训练方式，无需任何 3D 真值标注。具体而言，给定一组无位姿标注且未标定的多视角图像作为输入，首先生成预测的相机内参和外参，随后利用这些参数完成以下流程：

1. 高斯基元投影：将 3D 高斯基元的位置映射至图像平面
2. 可微分渲染：通过溅射渲染 (splatting) 生成合成视图

最终的 loss 为 NVS 任务损失。训练过程仅使用上下文视角（不含新视角监督），AnySplat 凭借以下两大核心优势仍能实现卓越的新视角渲染效果：

• 先验蒸馏机制：从预训练 VGGT 提取几何与位姿约束
• 强场景建模能力：通过各向异性 3D 高斯实现精细场景表达

4. 实验

遵循 CUT3R 和 Dust3r，使用了 9 个公开数据集：Hypersim、ARKitScenes、BlendedMVS、ScanNet++、CO3D-v2、Objaverse、Unreal4K、WildRGBD 和 DL3DV，将模型暴露在广泛的几何和外观变化中，增强泛化性。在 16 个 NVIDIA A800 GPUs 上面训练大约一天。

4.1 NVS

在稀疏视图和密集视图设置下，根据两个 zero-shot NVS 数据集：Deep-Blending 和 VRNeRF，对以前的方法进行定量评估。

在稀疏视角的前提下，与最近的前馈方法（如 NoPoSplat 和 Flare）相比，AnySplat 在这两个数据集实现了改进的渲染性能。有两个主要原因：1）AnySplat 在一组多样化的数据集中进行了训练，并结合了随机输入视图的分离策略，这有助于其卓越的 zero-shot 推广；2）它实现了更准确的 geometry 和 pose 估计，由于渲染质量在很大程度上与姿势准确性有关，这导致了更好的视觉效果。此外，随着输入视图数量的增加，方法展示了更快的推理时间。

在密集视图设置（超过 32 个视图）中，AnySplat 继续优于基于优化的方法，如 3DGS 和 Mip-Splatting（具有 VGGT 初始化）。这些基于优化的方法往往会过度适应训练视图，通常会导致新视图中的伪影。相比之下，我们的方法重建了更精细、更干净的几何形状，并且 AnySplat 实现的重建时间要快一个数量级。

AnySplat 还可以通过可选的优化后步骤实现进一步的改进。在 Matrixcity 数据集上发现即使有 200 个输入，只需再训练 1000 个 iterations（花费不到两分钟）就能获得更好的结果，3000 个 iterations 可以获得更好的结果。

4.2 相对位姿估计与多视角几何一致性

在 CO3Dv2 数据集上采用前馈式推理设置进行评估（随机选取 10 帧作为输入），并与 VGGT 和 Flare 进行性能对比。本方法在保持接近 VGGT 位姿精度的同时（牺牲微量位姿准确性以换取更好的多视角一致性），显著优于 Flare 算法。

还在 Hypersim 数据集上对比了训练初期与末期两种深度图的一致性。尽管 VGGT 在单目深度预测中表现优异，但由于缺乏显式 3D 几何约束且对低置信度区域（特别是物体边界）敏感，其跨视角一致性较差。相比之下，AnySplat 通过 3D 渲染监督显著提升了多视角一致性，比较了 GS 渲染深度与 DPT 预测深度的差异，随着训练轮数增加差异越来越小。

4.3 消融实验

可以看到没有蒸馏 loss 效果下降了很多！

再看看下面这张图，描述了 pixel-wise 与 voxel-wise 的差别。

5. 结论

通过整合轻量化渲染头与几何一致性增强模块，结合自监督渲染代理与知识蒸馏技术，为三维基础模型的潜力释放与规模化应用提供了创新解决方案。实验表明，该模型在稀疏和密集多视角重建任务中，针对无约束、未标定的输入数据均表现出强劲竞争力。其高效训练特性（所需时间和算力极低）可实现秒级推理，实时生成三维高斯泼溅重建结果与高保真渲染。

存在的挑战：

• 特殊场景伪影：天空区域、镜面高光及薄结构仍存在重建瑕疵；基于重建的渲染损失在动态场景/光照变化下稳定性不足。
• 计算 - 分辨率权衡：高斯基元数量随输入分辨率及体素粒度增长而激增；超高分辨率或多视角输入时性能下降显著。

参考文献：https://arxiv.org/pdf/2505.23716