DM0 面向物理 AI 的 VLA：VLM 混入物理数据预训练与流匹配动作专家

在这里：

• $l$ 表示语言指令。
• $\hat{l}$ 表示预测的文本输出：可以理解为预测的子任务。
• 在时间步 $t$ 的多模态观测由 $\mathbf{o}{t}=\left[\mathbf{I}{t}, \mathbf{s}{t}\right]$ 表示，其中 $\mathbf{I}{t}$ 代表视觉输入，$\mathbf{s}_{t}$ 对应机器人的本体感知状态。
• $\mathbf{a}_{t: t+H}$ 表示在时域为 $H$ 步的动作序列。

1.2.2 多源混合训练

已有多项前人工作探讨了将视觉 - 语言模型与动作专家集成用于端到端学习的统一训练范式。尽管该类方法具有架构简洁性，但语言与连续控制目标的联合优化已被观察到会对预训练视觉 - 语言模型中保留的语义表征产生负面影响，可能削弱其语言理解与推理能力。

对此，作者采用了一种受知识隔离（KI）启发的混合梯度策略，在具身数据训练时将动作专家的梯度与预训练 VLM 解耦，从而防止语义知识在 VLM 中被侵蚀。同时，VLM 持续使用非具身数据进行更新，使模型能够进一步提升其通用语言和视觉理解能力。此外，VLM 还被监督以预测离散动作 token，促使其编码有助于下游动作预测的动作相关语义。

VLM 通过最小化自回归交叉熵损失来学习预测具身推理文本及离散动作 token：

$$\mathcal{L}{\mathrm{AR}}(\theta)=-\mathbb{E}{\mathcal{D}}\left[\log \pi_{\theta}\left(\hat{l} \mid \mathbf{o}_{t}, l\right)\right]$$

动作专家通过最小化流匹配损失函数进行训练，以预测连续动作序列：

$$\mathcal{L}{\mathrm{FM}}(\theta)=\mathbb{E}{\mathcal{D}, \varepsilon, \tau}\left|\pi_{\theta}\left(\tilde{\mathbf{a}}{t: t+H}, \mathbf{o}{t}, l, \tau\right)-\left(\mathbf{A}_{t: t+H}-\varepsilon\right)\right|^{2}$$

其中，$\mathbf{A}{t: t+H}$ 表示真实的连续动作序列，$\tilde{\mathbf{a}}{t: t+H}=\tau \mathbf{A}_{t: t+H}+ (1-\tau) \varepsilon$ 为通过注入高斯噪声 $\varepsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 获得的带噪动作，变量 $\tau \in[0,1]$ 表示流动时间步。

神经网络预测的速度向量代表去噪方向。当 $\tau = 0$ 时，状态是纯噪声；当 $\tau = 1$ 时，状态变成了干净的动作数据。总体训练目标被定义为两个损失的加权组合：

$$\mathcal{L}{\text {total }}(\theta)=\lambda \mathcal{L}{\mathrm{AR}}(\theta)+\mathcal{L}_{\mathrm{FM}}(\theta)$$

其中 $\lambda$ 为标量权重系数。在联合训练期间，作者设置 $\lambda = 1$。

1.2.3 具身空间支架

在联合训练阶段，作者引入了一组按照分层预测框架组织的辅助目标，以提供结构化监督。具体而言，模型被训练为依次执行以下任务：

1. 子任务预测：预测一个细粒度的任务描述，将整体任务分解为一系列可解释且易于管理的步骤。
2. 目标边界框预测：在视觉观测中预测目标物体或与目标相关区域的边界框。
3. 末端执行器轨迹预测：在主相机视角下，预测机器人末端执行器在指定时间范围内的未来轨迹。
4. 离散动作预测：预测表示机器人控制命令的离散动作 tokens。

这种设计在不同抽象层级上形成了一种自然的'课程'，引导模型从高层语义推理逐步过渡到空间落地，最终到达低层控制。从理论角度来看，这种分层监督引入了一系列与任务对齐的归纳偏置，逐步收缩模型的假设空间。

1.3 模型的完整训练方案

DM0 的训练分为三个连续阶段，从通用视觉 - 语言能力逐步推进到具身控制，最后到可部署的策略。

1. 预训练（Pretraining）：在大规模网页、自动驾驶和具身数据上建立强大的多模态基础。
2. 中期训练（Mid-training）：加入动作预测，使模型在跨具身形态的机器人数据上获得落地能力，同时保持通用对话能力。
3. 后期训练（Post-training）：收窄具身形态和数据范围，在一小组目标平台上稳定视觉 - 运动对齐。

1.3.1 预训练

预训练的目标是学习一个通用的视觉 - 语言模型，使其在多模态对齐、细粒度感知以及针对网页、文档、自动驾驶和具身数据的广泛推理方面具有强大能力。通过在这些异构数据源上联合训练，模型同时获得语义知识和物理先验。

数据构建覆盖以下领域：

• 知识：来自网页的图文交错数据源于 Common Crawl、StepCrawl 等，过滤掉低质量页面。图文对来自 LAION、COYO、BLIP-CCS 等开放数据集。
• 教育：样本涵盖 K-12、大学阶段及成人学习内容。
• OCR：图像转文本使用真实和合成图像，图像转代码涵盖 Markdown、LaTeX 等。
• 定位与计数：源自 OpenImages、COCO 等检测数据集。
• VQA：通用 VQA 借鉴了开放基准数据集。
• GUI：包括界面描述、知识型 VQA 及网页 OCR。
• Driving：驾驶场景样本包含具有深度感知的检测和 grounding 标注。
• Embodied：纳入了以 grounding 和描述问答任务形式组织的具身数据。

训练设置在单阶段进行，所有参数联合优化。作者使用 AdamW，在 370K 步内对 1.2T 个 token 进行优化。学习率在两个阶段中进行调度。

1.3.2 中期训练

在预训练主干网络的基础上，中期训练阶段引入动作预测，将模型与物理控制进行对齐。在这一阶段，采用单一训练循环，通过动作专家同时监督文本 token、离散动作 token 和连续动作。

数据混合组织为五个类别：

1. 视觉–语言数据：包含 Cambrian、LLaVA OneVision 等，移除低质量样本。
2. 具身推理（Embodied Reasoning, ER）数据：强化高层规划与时间推理能力，包括任务分解、子任务预测、动作问答等。
3. 仿真数据：包含 LIBERO、RoboTwin2.0 及 Habitat 导航轨迹。
4. 单臂机器人数据：来自 Franka、UR5 等开源及自采数据。
5. 双臂机器人数据：来自 ALOHA 及开源数据。

所有数据都被表示为基于模板的对话，从而可以用不同的自然语言来呈现相同的监督信息。动作在同一序列上的两个对齐视图上被监督：给 VLM 使用的离散 token，以及给动作专家使用的连续数值。

1.3.3 后训练

后训练从中间训练得到的模型开始，通过将机器人数据集中于少数几个目标具身形态，使其专门化以便部署。缩小具身形态的多样性可以降低分布方差并稳定跨模态对齐。训练在与中期训练相同的联合监督下进行，只对数据采样方式和目标具身体集合进行了修改。

1.4 实验评估

1.4.1 实验设置

鉴于 DM0 聚焦于物理世界交互，作者在真实世界的 RoboChallenge 基准上对其进行评估。该基准提供了一个包含 30 余个长时程台面操作任务的综合任务套件。在有监督微调（SFT）阶段，作者采用两种不同的训练配置：

• SFT（Specialist）：仅在目标任务的数据上进行训练。
• SFT（通用型）：在为目标机器人平台提供的所有可用任务所汇总的数据上进行训练。

对比模型包括 GigaBrain-0.1、Spirit-V1.5、π0.5 以及 π0。

1.4.2 RoboChallenge 结果

DM0-generalist 在综合平均成功率和任务得分上显著优于 π0.5-generalist 和 π0-generalist。这一性能优势在几乎所有机器人平台和任务类别上都保持一致。值得注意的是，DM0-generalist 在需要精细操作和长时序推理的任务上表现突出，如堆叠彩色积木、将鞋子放到鞋架上等任务中经常获得满分。

在 3B–5B 参数规模范围内，DM0 专家模型在多个机器人平台上始终优于所有对比模型，并取得了 62.00% 的更高整体成功率。尤其是在诸如将水果放入篮子、插入网线以及清扫垃圾等复杂、长时序任务中，DM0 的性能优势尤为显著。

1.4.3 多模态理解

作者进一步在一组视觉问答（VQA）样本上评估了 DM0 的多模态能力。结果表明，DM0 保留了核心 VQA 功能，包括场景理解、视觉指称、属性识别以及光学字符识别（OCR）。在具身场景中，DM0 保留了诸如场景描述、目标检测和属性识别等基础 VQA 能力。此外，作者观察到 DM0 在移动场景中具有良好的泛化能力。

1.5 未来工作

尽管 DM0 为具身原生 VLA 建立了一个强有力的基线，但在未来仍有若干颇具前景的方向值得进一步探索：

• 扩展具身 - 原生范式：计划通过在显著更大规模的数据集上进行训练并增大模型参数规模，以探索具身 - 原生框架的扩展规律。
• 扩展多模态感知：未来版本的 DM0 将在统一预训练阶段直接引入更多模态，例如触觉反馈、音频以及深度信息。
• 长期跨度推理与世界模型：计划将世界模型能力集成到 DM0 框架中，使智能体能够在执行前在心智中模拟动作后果，并在更长的时间尺度上进行规划。

总之，DM0 作为一种开创性的具身原生视觉 - 语言 - 行动（VLA）框架，从根本上重新思考通用机器人策略的开发方式。不同于通过事后微调互联网预训练模型的传统范式，DM0 自始即通过统一的预训练策略在异构数据源上引入物理落地能力。其核心由两项关键技术创新支撑：一种将动作专家学习与 VLM 语义保持解耦的混合梯度策略，一种具身空间脚手架机制，利用空间 Chain-of-Thought 推理来理解和规划复杂的物理任务。