PointWorld: 扩展 3D 世界模型用于机器人操作

大量已有研究从互补的角度对世界建模问题进行了探索。基于物理的模型虽然能够实现高度精确的预测，但面临仿真到现实的差距问题，并且需要针对具体环境进行精细化建模。基于学习的动力学模型通过从观测到的交互中学习来缓解这一问题，但往往依赖于特定领域的归纳偏置。与此同时，大规模训练的视频生成模型虽然能够生成逼真的视觉预测，但缺乏显式的动作条件建模，并且在物理一致性方面往往表现不足。

我们的核心理念是通过统一表示来实现规模化：将状态与动作统一表示在同一种三维物理空间模态中。状态由基于 RGB-D 采集构建的完整场景三维点云表示；动作则表示为从智能体自身本体实例化得到的稠密三维点轨迹。在这种表示下，三维世界建模等价于对在机器人点序列扰动下的全场景三维点流进行建模：即在给定部分可观测的场景三维点以及动作点的情况下，预测在一定时间范围内每个场景点的位移变化。

为提供监督信号，我们构建了一个用于三维动力学建模的大规模数据集，涵盖数百个真实环境场景中的单臂、双臂及全身交互，同时覆盖真实与仿真两种域。该数据集基于现有的机器人操作数据集 DROID 和 BEHAVIOR-1K 构建而成。借助该数据集，我们通过对主干网络结构、动作表示方式、学习目标、部分可观测性、数据混合策略、规模规律以及零样本与微调条件下的跨域迁移等方面进行严格研究，总结并提炼了大规模三维动力学学习中的关键设计决策。

2. Related Work

World Modeling. 世界模型是一类预测模型，用于在给定当前状态与动作的情况下模拟未来状态。视频模型采用像素空间作为状态表示。三维世界模型则作用于网格或显式表面表示、辐射场或高斯表示，以及粒子表示。POINTWORLD 使用三维点流作为共享的状态—动作表示，强调接触与几何而非外观。

Dynamics Models in Robotics. 机器人领域中的动力学模型将世界模型具体化到机器人动作空间中。这些模型包括基于物理的仿真器以及基于学习的方法。尽管现有动力学模型通常需要针对具体场景进行精细化建模，我们的目标是预训练一个能够跨越多样真实环境进行泛化的单一动力学模型。

2D and 3D Flows for Manipulation. 流（或点轨迹）用于建立跨越空间与时间的对应关系，为感知与控制之间提供了一个强有力的接口。在本工作中，我们利用三维视觉领域的最新进展，从大规模真实世界机器人操作数据中标注三维场景流，从而通过稳定的回归损失函数训练大规模三维世界模型。

3. Method

我们将三维世界建模表述为以动作为条件的全场景三维点流预测。随后，我们介绍 POINTWORLD 如何用于动作推断，并讨论其在本工作所探究的模型预测控制框架中的应用场景。

3.1. 3D World Modeling with POINTWORLD

我们将环境动力学建模为一个由参数 θ 表示的神经网络 F_θ : S × A → S，该网络在给定当前状态和机器人动作的情况下预测下一状态。相比之下，我们采用一种用于数据驱动建模的多步（分块）建模方式：模型在一次前向推理中预测长度为 H 的未来状态序列，该方式能够提升时间一致性并摊销计算开销。在实现中，我们使用 H = 10 个时间步，每个时间步对应 0.1s。

多步建模优势

时间一致性更好：你一次预测整段，模型更容易学'连续运动'的规律，不会每步各说各话。 摊销计算：你做 MPC 要评估很多候选动作轨迹，一次就出 10 步，比'跑 10 次单步网络'更划算。

State Representation. 在本工作中，我们采用点流（亦称为粒子）作为环境状态表示。与其他表示方式相比，点流在机器人操作的世界建模中具有以下优势：（i）强调三维几何之间的物理交互，而非外观信息；（ii）能够直接从部分可观测环境中的任意 RGB-D 采集中获得，且不依赖物体性或材料属性的先验假设；（iii）通过对位移使用 L2 损失即可实现简单且稳定的训练，而无需进行排列匹配；（iv）具有足够的表达能力以刻画多样且精细的接触动力学。

Action Representation. 为了能够从异构机器人本体中学习，我们再次采用三维点流作为表示方式。然而，与通过 RGB-D 采集获得的场景点流不同，机器人点流是通过正向运动学预测机器人自身几何结构生成的，该过程利用的是先验已知的 URDF 描述文件。这种设计是有意为之，旨在确保'想象中的动作'在表示上是完全可观测的，而非部分可观测，同时仍保持与具体机器人本体无关。

Dynamics Prediction. 在上述状态—动作表示的基础上，模型的输入包括一个静态的全场景点云 s_t，以及一段时间序列形式的机器人点流动作 a_{t:t+H-1}。我们并未设计定制化网络结构，而是有意构建在最先进的点云主干网络之上。为此，我们将初始场景点与按时间堆叠的机器人点进行拼接，形成一个统一的点云，并交由主干网络处理。场景点通过投影至二维视角后，使用冻结的 DINOv3 编码器进行特征提取；而机器人点则采用时间嵌入进行特征编码。

特征编码详解

A. 场景点特征：DINOv3（冻结） 做法是：把 3D 点投影回 2D 图像上，用 DINOv3 从图像抽特征，再贴回点上。'冻结'意思是：DINOv3 参数不训练，它只是一个固定的'视觉特征提取器'。

B. 机器人点特征：时间嵌入（Time Embed） 机器人点很关键：同一个点在 t、t+1、…对应不同时间。时间嵌入就是给机器人点加一个'第几步'的标记，让网络知道这是未来第 k 步机器人会到的位置，而不是现在的位置。

Training Objective. 尽管该建模形式天然适用于标准的回归目标，但三维世界建模引入了两个需要精心设计的独特挑战：（i）由于需要进行全场景预测，机器人往往只操控场景中的一小部分区域，因此大多数点是静止的，直接使用标准的 L2 损失会导致训练信号极其稀疏；（ii）真实世界数据具有噪声，因此需要对模型进行正则化，使其对噪声具有鲁棒性。

为应对挑战（i），我们采用加权回归目标，根据真实运动信息为每个时间步上的每个点分配一个软运动概率 m_{k,i} ∈ [0, 1]，从而将损失函数聚焦于发生运动的点。为应对挑战（ii），我们采用偶然不确定性（aleatoric uncertainty）正则化方法，为每个时间步 k 上的每个点 i 预测一个标量对数方差 s_{k,i}，并在残差项上使用 Huber 损失。

完整的训练目标函数为： $$ \frac{1}{2}\sum_{k,i}^{H, N_S} w_{k,i} \Big( \rho_\delta(\hat{\mathbf{P}}{t+k,i}-\mathbf{P}{t+k,i}) e^{-s_{k,i}} + s_{k,i} \Big) $$ 其中，ρ_δ 表示逐元素的 Huber 损失函数。

3.2. POINTWORLD for Robotic Manipulation

如第 2 节所述，一个预训练的 POINTWORLD 能够支持多种机器人应用场景。在本工作中，我们具体研究这样一个问题：是否仅凭一个预训练的 POINTWORLD，就能够在未见过的、真实自然环境中，仅基于单张 RGB-D 观测完成动作推断，而无需在部署阶段进行任何额外示范或后续训练。

为此，我们将 POINTWORLD 集成进一个模型预测控制（MPC）框架中，并采用基于采样的规划器 MPPI，在模型状态空间中定义代价函数，从而规划一段长度为 T 的末端执行器 SE(3) 位姿序列。整体优化问题被表述为一个全局轨迹优化问题： $$ \argmin_{\mathbf{E}{0:T}} \sum{k=1}^{T}\Big[c_{\text{task}}(\mathbf{s}k)+c{\text{ctrl}}(\mathbf{E}_k)\Big] $$ 其中，c_ctrl 包含路径长度与可达性等控制正则项。

4. Dataset Curation and Evaluation Protocol

准确且大规模的三维数据对于第 3 节中的世界模型在真实环境中的泛化能力至关重要。除动作标注外，数据集还需要具备准确的空间感知能力（即高保真深度）、手眼标定（即相机在机器人基坐标系下的外参），以及在遮挡条件下的逐像素对应关系匹配（即点追踪）。

结合真实数据与仿真数据，我们构建了一个包含约 200 万条轨迹（约 500 小时）的数据集，涵盖真实自然场景与家庭尺度仿真环境中的单臂、双臂以及全身遥操作交互。据我们所知，这是目前规模最大的三维动力学建模数据集，并且我们已将其全部开源。

Model Evaluation Protocol. 我们使用预测时间范围内逐点、逐时间步的 ℓ_2 距离，对 POINTWORLD 及其他基线方法的点流预测结果进行评估。由于在机器人交互过程中大多数场景点保持静止，我们将评估重点放在运动点上（ℓ_2 mover），该指标基于真实数据测量，并使用第 3 节中引入的运动概率对全部点集进行筛选。

5. Experiments

以真实世界数据为重点，我们总结并梳理了在扩展三维世界模型规模过程中获得的一系列经验性结论。随后，我们沿着若干互补的设计维度，对 POINTWORLD 进行了有针对性的消融研究。通过结合真实数据与仿真数据，我们在零样本与微调两种设置下，定量评估了模型在域内、跨域以及保留测试集上的泛化能力。

5.1. Scaling 3D World Models: A Roadmap

现代点云主干网络（PTv3）在三维世界建模中表现出良好的建模能力、高效性与可扩展性。基于上述局限性，我们考察了多种替代性的点云网络结构，包括从 PointNet、PointNet++、稀疏卷积网络到 Transformer 架构。在这些方法中，PointTransformerV3（PTv3）展现出最强的建模能力。

运动加权、不确定性正则化以及 Huber 损失函数能够显著稳定真实世界数据上的三维世界模型学习过程。 如第 3 节所述，朴素的 ℓ_2 损失难以优化，因为在任一时刻只有极少比例的点发生运动（约 1–5%）。真实世界数据中的噪声进一步加剧了这一问题。因此，我们采用运动加权、不确定性正则化以及作用于三维残差上的 Huber 损失。

预训练的二维特征提供了关键的先验信息，并带来了显著性能提升。 遵循文献的思路，我们假设 DINOv3 提供的稠密特征能够在无需显式分割的情况下提供物体性先验。这一简单的改动便显著提升了模型相对于基线方法的精度。

为了有效吸收大规模世界建模数据，模型规模扩展是必要的。 在架构、训练目标和特征设计确定之后，我们在同一 PTv3 设计框架下同时扩展模型的深度与宽度。与视觉和语言建模中的尺度规律观察结果一致，将模型参数规模从 5000 万扩展至 10 亿，在三维世界建模中同样带来了平滑、近似对数线性的性能提升。

5.2. Ablations

将动作表示为夹爪上的点流，在有效且高效的接触建模之间取得了平衡，并能够在异构机器人形态之间实现正迁移。 实验结果表明，仅使用夹爪点流的方法有效缓解了噪声影响并取得了最佳性能，凸显了其在真实世界数据上的有效性，以及在两个域中实现异构机器人形态间正迁移的能力。

在训练和推理阶段均采用分块预测，可以减少轨迹推演漂移，同时提升计算效率。 在训练和测试阶段均采用完整时间范围的分块预测，可以在仅需一次前向推理（相比自回归方法需要 2–10 次）的情况下同时最小化漂移并摊薄计算开销，表明分块预测在精度与效率上均更具优势。

POINTWORLD 对不同程度的部分可观测性具有较强鲁棒性，并且在训练与推理阶段均能从额外相机中获益。 随机视角模型在所有测试相机数量设置下均表现出最强的鲁棒性，这表明在训练阶段接触多样化的可观测性，有助于模型在推理阶段于部分可观测条件下推断物体属性与物理特性。

5.3. Generalization and Transfer

我们研究了 POINTWORLD 在零样本和微调两种设置下，于域内、跨域以及保留的真实世界环境中的泛化能力。每次微调仅使用原始训练迭代次数的 1/20。

POINTWORLD 在域内具有良好的泛化能力。 在 B1K 数据集上，模型在保留轨迹上的运动点误差达到亚厘米级；而在 DROID 数据集上，尽管存在真实世界变化，保留集上的性能仍与训练阶段相当。

预训练的 POINTWORLD 能够通过高效微调实现从真实到仿真以及从仿真到真实的双向迁移。 仅使用原始训练步数的 5% 进行微调，便可迅速缩小与使用多 20 倍更新次数、从零训练的领域专用模型之间的性能差距。

5.4. Model-Based Planning with POINTWORLD

在多样化交互数据上完成预训练后，我们测试 POINTWORLD 是否能够在真实自然环境中的物理机器人上以零样本方式部署用于操作任务。仅依赖预训练模型和统一的 MPC 框架，POINTWORLD 即可为多种真实世界任务优化动作，包括：刚体物体的非抓取式推动、可变形物体操作、关节物体操作以及工具使用。

6. Conclusion

我们提出了 POINTWORLD，一种大规模预训练的三维世界模型，其在统一的三维点流表示下，能够基于真实环境中的 RGB-D 观测与机器人动作预测三维环境动力学。通过系统的实验评估，我们深入研究了三维世界模型训练的扩展方法。在多样化数据上完成预训练后，单个 POINTWORLD 模型即可在真实世界中实现多种实用的操作行为。