PointWorld：面向野外机器人操作的 3D 世界模型规模化

动力学预测。基于上述状态 - 动作表示，拥有一个静态的全场景点云 s_t 和一个时间序列的机器人点流动作 a_t:t+H−1 作为模型的输入。没有设计自定义架构，而是特意基于最先进的点云骨干网络 [152] 构建模型，以蒸馏出实现可扩展、大规模 3D 世界建模的核心原理。为此，将初始场景点与时间堆叠的机器人点连接起来，形成一个由骨干网络处理的单一点云。场景点通过投影到 2D 视图，使用冻结的 DINOv3 [153, 154] 进行特征提取，而机器人点则使用时间嵌入进行特征提取。点云骨干网络处理连接后的点云，并输出所有点的特征。然后，共享的 MLP 头在一次前向传播中，预测长度为 H 的块内每个步骤中场景点的位移。这种分块公式能够以实时延迟（每次批量前向传递 0.1 秒）评估许多候选轨迹，这与基于像素的方法形成对比，后者由于使用扩散目标，通常需要几秒钟的推理 [31, 80]。

训练目标。虽然该模型本身适用于标准的回归目标，但三维世界建模引入两个独特的挑战，需要精心设计：（i）由于需要进行全场景预测，机器人通常只操作场景的一小部分，因此大多数点是静态的，标准的 L2 损失会导致训练信号非常稀疏；（ii）真实世界数据存在噪声，因此需要对模型进行正则化，使其能够抵抗噪声。为了应对挑战（i）采用加权回归目标，在每个时间步，根据从真实运动数据计算出的软运动似然函数 m_k,i ∈ [0, 1] 对每个点进行重加权，从而使损失函数集中于运动的点上。令 δ_k,i ≥ 0 表示第 k 步点 i 的真实位移向量范数，令 m_k,i = σ（κ (δ_k,i − τ)），其中 σ 为 logistic sigmoid 函数，τ 和 κ 分别为非负位移阈值和温度参数。然后，对这些似然函数进行归一化，得到第 k 步每个点 i 的权重 w_k,i = m_k,i/ sum(m_k,i)。

为了应对挑战 (ii)，采用随机不确定性正则化 [10, 155, 156]，预测第 k 步每个点 i 的标量对数方差 s_k,i，并进一步对残差应用 Huber 损失。形式上，完整的训练目标可以定义。实际上，也忽略那些对二维跟踪器不可见的点，被用于提供伪真实值。

用于机器人操作的 POINTWORLD

预训练的 POINTWORLD 可在机器人领域实现多种应用场景。本文重点研究单个预训练的 POINTWORLD 是否能够仅基于单次 RGB-D 图像采集，在未见过的真实世界环境中进行动作推断，而无需任何额外的演示或部署时的后训练。为此，将 POINTWORLD 集成到基于采样规划器 MPPI [12] 的模型预测控制 (MPC) 框架中。MPPI 能够在给定模型状态空间中定义代价函数的情况下，规划出 SE(3) 空间中的 T 个末端执行器姿态目标序列。

具体而言，给定一个经过标定的 RGB-D 图像采集，首先构建场景点集，得到初始状态 s_0。然后，用时间相关的（三次样条）噪声分布对 K 个动作扰动 l_1:K 进行采样，并将其添加到标称末端执行器轨迹中。对于每个采样轨迹 E(l)_1:T，构建相应的机器人点流动作 a(l)_1:T，利用 POINTWORLD 函数在 a(l)_1:T 的条件下展开场景流，并通过计算样本上的指数权重 ω_l ∝ exp(−J(l)/β) 并更新标称轨迹（作为采样轨迹的加权平均值）来迭代地细化轨迹代价 J(l)，其中 β 为非负温度。

为了定义代价函数，将任务目标与控制正则化分开。令 I_task ⊆{1, …, N_S} 表示与任务相关的场景点集合，以及相关的目标位置 {g_i}。在时间 k 预测状态 s_k 的任务成本为 c_task(s_k) = sum (||p_k,i − g_i||2_2) / |I_task|。这种逐点目标成本广泛适用于刚体、可变形体和铰接体。任务相关点可以由用户通过图形用户界面 (GUI) 或 VLM [145] 指定。整体优化问题被表述为一个全局轨迹优化问题。

如图所示：在三维机器人点流和部分可观测 RGB-D 数据条件下，对用于物理交互的三维世界建模进行丰富的监督。该三维世界建模目标在像素级密集监督下，编码机器人操作所需的各种核心能力。为了预测整个场景的演化，模型需要隐式地分割目标物体，识别材质属性和/或关节结构，执行隐式形状补全以进行接触推理，传播机器人与物体之间的交互以模拟物体间的动力学，并同时考虑重力的影响，所有这些都封装在学习模型的一次前向传播中。

对于世界模型而言，精确、大规模的 3D 数据对于其在实际环境中的泛化至关重要。除了需要动作标签外，该数据集还需要具备精确的空间感知（即高保真度的深度信息）、手 - 眼标定（即机器人基坐标系中的相机外参）以及在遮挡情况下逐像素的对应匹配（即点跟踪）。尽管人们已投入大量精力收集各种真实世界操作数据集 [7, 158]，但获取其 3D 标注一直以来都极具挑战性。主要发现是，3D 视觉领域的最新进展——度量深度估计、相机姿态估计和密集点跟踪——正日趋成熟，能够提供一个无需标记的离线流程，该流程仅基于记录的数据即可生成所需的数据集。逼真的仿真则通过提供真实值监督来补充这一流程。结合以上方法，整理一个包含约 200 万条轨迹（500 小时）的数据集，涵单臂、双手和全身远程操控交互，涉及真实场景和模拟的家庭环境。这是目前最大的 3D 动力学建模数据集，完全开源。

真实世界数据的 3D 标注。利用 DROID [7]，这是一个机器人操作数据集，包含由两个外部摄像头和一个腕戴式摄像头记录的各种真实场景交互。虽然 DROID 提供传感器深度和摄像头外参，但由于标定不完善，深度信息在开放世界环境中通常会降低，摄像头位姿也不准确。前沿的 3D 重建模型，例如 VGGT[10]，可以从 RGB 图像中联合估计深度和相机参数，虽然视觉效果通常不错，但生成的深度图过于平滑，相机位姿与真实值可能存在数十厘米的偏差。

经过大量实验，采用一种三阶段标注流程，该流程结合多个已学习的模型和一个专门的优化程序。首先，将传感器深度替换为 Foundation-Stereo[9] 的立体估计深度，这在操作中常见的近距离工作条件下尤为有效。其次，通过优化程序来计算相机外参，该程序将机器人深度观测值与已知的机器人网格对齐，从而优化 VGGT 初始化的相机位姿。第三，在获得精确的深度和外参后，用 Co-Tracker3[11] 进行逐像素点跟踪。Co-Tracker3 是一个 2D 点跟踪器，它输出图像空间对应关系和可见性图；利用精细化的深度信息和相机位姿将这些轨迹提升到 3D 空间，并保留可见性标签，从而在模型训练过程中排除被遮挡的点。通过此流程，为超过 60% 的 DROID 数据集（近 200 小时的原始人工远程操作数据）恢复可靠的 3D 点流，并获得重建的点云，其在质量和数量上均优于原始数据集和其他标注方法。为了进一步评估在缺乏真实世界数据的情况下外参的精度，将原始数据集外参下性能最佳的 1% 的场景（通过深度投影损失衡量）作为真实外参的代理（proxy）。相对于此参考，优化的外参实现 1.8 厘米和 1.9 度的中值平移误差和旋转误差。

仿真（BEHAVIOR-1K）。为了补充真实世界数据，用 BEHAVIOR-1K [8] (B1K) 数据集，该数据集提供约 1100 小时的远程操作（预过滤）交互数据，这些交互是在逼真的家庭尺度环境中进行的，包括双手操作、全身操作和移动操作。利用已知的仿真状态获取真实的 3D 点流。由于该数据集侧重于长时程活动，而 POINTWORLD 侧重于短时程交互动态，因此用仿真中可获取的特权信息来过滤轨迹。仅保留机器人与物体之间存在主动接触以及物体运动不为零的轨迹。

模型评估协议。用基于预测时程的逐点、逐时间步的 l_2 距离来评估 POINTWORLD 和其他基线模型的预测点流。由于大多数场景点在机器人交互过程中保持静止，重点关注移动点的度量（l_2 移动点），该度量由真实数据测量，并使用运动似然性对所有点进行过滤。对于真实场景，进一步对评估数据进行去噪，方法是仅在预留的测试集上训练一个单独的专家模型，以通过不确定性目标标记不可靠的流，并仅保留模型置信度最高的 80% 的点。所有评估模型均仅在不完美的训练集上进行训练，并在专家过滤后的测试集上进行评估。

度量解释。这种密集的逐点 l_2 度量在比较不同方法时具有很高的区分度，并揭示任务级成功率通常无法揭示的展开保真度方面的系统性差异[125]。由于所有误差均以一秒为时间尺度进行测量，绝对值差异可能看起来很小，因为即使是较大的运动也只会使点移动几厘米。然而，微小的数值差异通常对应于展开精度方面的显著提升。考虑到评估数据集的规模（约 40,000 条机器人轨迹，每条轨迹包含 10,000 个点流），l_2 指标的标准误差可以忽略不计（≤ 10⁻⁵ 米），因此仅报告平均值。

三维世界模型规模化：路线图

现代点云骨干网络（PTv3 [152]）高效、有效且可扩展，适用于三维世界建模。基于图的神经动力学（GBND）模型因其关系归纳偏置而被广泛用于动力学建模 [5]。将 GBND 基线模型扩展到本文数据集时，会遇到两个挑战。内存消耗迅速增长，因为维护场景中所有点的高维特征成本很高。纯粹的局部消息传递在部分可观测性下难以发挥作用，因为长程效应必须经过噪声跳跃。鉴于这些限制，研究其他点云架构，从 PointNet [161]、PointNet++ [162]、稀疏卷积网络 [163] 到 transformer [164]。其中，PointTransformerV3 [152] (PTv3) 提供最强大的建模能力。其点序列化方式与 GBND 的局部分组方式类似，而 U-Net 的层级结构则允许对逐渐粗糙的点集进行关注，从而实现长程建模和参数的大幅增长。

如图所示三维世界模型规模化路线图，以 DROID 测试集上移动场景点的 L_2 误差衡量。从现有基线[5] 出发，逐步改进骨干网络，稳定训练目标，利用预训练特征，并扩展模型规模，从而持续提升精度。阴影条表示最终模型中未采用的设置。