PointWorld: 扩展野外机器人操作的三维世界模型论文笔记

3.1. 3D World Modeling with POINTWORLD

我们将环境动力学建模为一个由参数 θ 表示的神经网络 Fθ: S × A → S，该网络在给定当前状态和机器人动作的情况下预测下一状态。相比之下，我们采用一种用于数据驱动建模的多步（分块）建模方式：模型在一次前向推理中预测长度为 H 的未来状态序列。

State Representation. 在本工作中，我们采用点流（亦称为粒子）作为环境状态表示。与其他表示方式相比，点流在机器人操作的世界建模中具有以下优势： (i) 强调三维几何之间的物理交互，而非外观信息； (ii) 能够直接从部分可观测环境中的任意 RGB-D 采集中获得，且不依赖物体性或材料属性的先验假设； (iii) 通过对位移使用 L2 损失即可实现简单且稳定的训练，而无需进行排列匹配； (iv) 具有足够的表达能力以刻画多样且精细的接触动力学。

Action Representation. 为了能够从异构机器人本体中学习，我们再次采用三维点流作为表示方式。然而，与通过 RGB-D 采集获得的场景点流不同，机器人点流是通过正向运动学预测机器人自身几何结构生成的，该过程利用的是先验已知的 URDF 描述文件。这种设计是有意为之，旨在确保'想象中的动作'在表示上是完全可观测的，而非部分可观测，同时仍保持与具体机器人本体无关。

Dynamics Prediction. 在上述状态—动作表示的基础上，模型的输入包括一个静态的全场景点云 st，以及一段时间序列形式的机器人点流动作 at:t+H−1。我们并未设计定制化网络结构，而是有意构建在最先进的点云主干网络之上。为此，我们将初始场景点与按时间堆叠的机器人点进行拼接，形成一个统一的点云，并交由主干网络处理。

Training Objective. 尽管该建模形式天然适用于标准的回归目标，但三维世界建模引入了两个需要精心设计的独特挑战：(i) 由于需要进行全场景预测，机器人往往只操控场景中的一小部分区域，因此大多数点是静止的，直接使用标准的 L2 损失会导致训练信号极其稀疏；(ii) 真实世界数据具有噪声，因此需要对模型进行正则化，使其对噪声具有鲁棒性。

为应对挑战 (i)，我们采用加权回归目标，根据真实运动信息为每个时间步上的每个点分配一个软运动概率 mk,i ∈ [0, 1]，从而将损失函数聚焦于发生运动的点。为应对挑战 (ii)，我们采用偶然不确定性（aleatoric uncertainty）正则化方法，为每个时间步 k 上的每个点 i 预测一个标量对数方差 sk,i，并在残差项上使用 Huber 损失。

完整的训练目标函数为： $$ \frac{1}{2}\sum_{k,i}^{H, N_S} w_{k,i} \Big( \rho_\delta(\hat{\mathbf{P}}{t+k,i}-\mathbf{P}{t+k,i}) e^{-s_{k,i}} + s_{k,i} \Big) $$ 其中，ρδ 表示逐元素的 Huber 损失函数。

3.2. POINTWORLD for Robotic Manipulation

如第 2 节所述，一个预训练的 POINTWORLD 能够支持多种机器人应用场景。在本工作中，我们具体研究这样一个问题：是否仅凭一个预训练的 POINTWORLD，就能够在未见过的、真实自然环境中，仅基于单张 RGB-D 观测完成动作推断，而无需在部署阶段进行任何额外示范或后续训练。

为此，我们将 POINTWORLD 集成进一个模型预测控制（MPC）框架中，并采用基于采样的规划器 MPPI，在模型状态空间中定义代价函数，从而规划一段长度为 T 的末端执行器 SE(3) 位姿序列。

在代价函数的定义上，我们将任务目标与控制正则项进行分离。令 Itask ⊆ {1, …, NS} 表示一组与任务相关的场景点，其对应的目标位置为 {gi}。整体优化问题被表述为一个全局轨迹优化问题。

[图片]

图 5. 三维标注质量及对比结果。

4. Dataset Curation and Evaluation Protocol

准确且大规模的三维数据对于第 3 节中的世界模型在真实环境中的泛化能力至关重要。除动作标注外，数据集还需要具备准确的空间感知能力（即高保真深度）、手眼标定（即相机在机器人基坐标系下的外参），以及在遮挡条件下的逐像素对应关系匹配（即点追踪）。

结合真实数据与仿真数据，我们构建了一个包含约 200 万条轨迹（约 500 小时）的数据集，涵盖真实自然场景与家庭尺度仿真环境中的单臂、双臂以及全身遥操作交互。据我们所知，这是目前规模最大的三维动力学建模数据集，并且我们已将其全部开源。

Model Evaluation Protocol. 我们使用预测时间范围内逐点、逐时间步的 ℓ2 距离，对 POINTWORLD 及其他基线方法的点流预测结果进行评估。由于在机器人交互过程中大多数场景点保持静止，我们将评估重点放在运动点上。

5. Experiments

以真实世界数据为重点，我们总结并梳理了在扩展三维世界模型规模过程中获得的一系列经验性结论。

5.1. Scaling 3D World Models: A Roadmap

现代点云主干网络（PTv3）在三维世界建模中表现出良好的建模能力、高效性与可扩展性。将 GBND 基线模型扩展至我们的数据集规模时，暴露出两个主要挑战。基于上述局限性，我们考察了多种替代性的点云网络结构，其中 PointTransformerV3（PTv3）展现出最强的建模能力。

运动加权、不确定性正则化以及 Huber 损失函数能够显著稳定真实世界数据上的三维世界模型学习过程。预训练的二维特征提供了关键的先验信息，并带来了显著性能提升。为了有效吸收大规模世界建模数据，模型规模扩展是必要的。

5.2. Ablations

将动作表示为夹爪上的点流，在有效且高效的接触建模之间取得了平衡，并能够在异构机器人形态之间实现正迁移。在训练和推理阶段均采用分块预测，可以减少轨迹推演漂移，同时提升计算效率。POINTWORLD 对不同程度的部分可观测性具有较强鲁棒性，并且在训练与推理阶段均能从额外相机中获益。

5.3. Generalization and Transfer

我们研究了 POINTWORLD 在零样本和微调两种设置下，于域内、跨域以及保留的真实世界环境中的泛化能力。实验结果表明，POINTWORLD 能够在域内实现泛化，在零样本条件下迁移至未见过的真实世界环境，并在仅使用 20 倍更少更新次数进行微调后超越专用模型，同时还能从真实—仿真联合训练中获益。

5.4. Model-Based Planning with POINTWORLD

在多样化交互数据上完成预训练后，我们测试 POINTWORLD 是否能够在真实自然环境中的物理机器人上以零样本方式部署用于操作任务。仅依赖预训练模型和统一的 MPC 框架，POINTWORLD 即可为多种真实世界任务优化动作，包括：刚体物体的非抓取式推动、可变形物体操作、关节物体操作以及工具使用。

6. Conclusion

我们提出了 POINTWORLD，一种大规模预训练的三维世界模型，其在统一的三维点流表示下，能够基于真实环境中的 RGB-D 观测与机器人动作预测三维环境动力学。通过系统的实验评估，我们深入研究了三维世界模型训练的扩展方法。在多样化数据上完成预训练后，单个 POINTWORLD 模型即可在真实世界中实现多种实用的操作行为。