论文解读 DM0: 面向物理 AI 的具身原生视觉语言动作模型

2.2 模型架构

DM0 采用双组件架构：

(1) VLM 主干网络

• 基础模型: Qwen3-1.7B LLM
• 感知编码器 (PE): 400M 参数，基于 Bolya et al., 2025
• 输入处理:
  • 多视角图像 → 调整至 728×728
  • 通过两个 3×3 卷积层（stride=2）下采样 4 倍

(2) Flow Matching 动作专家

• 规模: 500M 参数
• 机制: 基于 Lipman et al., 2022 的流匹配技术
• 功能: 根据 VLM 提取的 KV 缓存生成连续控制动作

推理模式（两种）:

1. 直接模式: 从多模态观察和语言指令直接预测连续动作序列
2. 推理模式: 先生成具身推理文本，再基于这些文本生成动作

数学形式：

\pi_{\theta}(\hat{l}, \mathbf{a}_{t:t+H} | \mathbf{o}_t, l) = \pi_{\theta}(\hat{l} | \mathbf{o}_t, l) \cdot \pi_{\theta}(\mathbf{a}_{t:t+H} | \mathbf{o}_t, l, \hat{l})

2.3 关键技术创新

创新点 1: 混合梯度策略（Hybrid Training）

动机: 联合优化语言目标和连续控制目标会损害预训练 VLM 中的语义表示

解决方案:

• 具身数据: 动作专家的梯度不反向传播到 VLM（保护语义知识）
• 非具身数据: VLM 继续可训练，refine 通用语言和视觉理解
• VLM 监督: 预测离散动作 token，编码有利于下游动作预测的语义

损失函数:

\mathcal{L}_{\text{total}}(\theta) = \lambda \mathcal{L}_{\text{AR}}(\theta) + \mathcal{L}_{\text{FM}}(\theta)

其中：

• $\mathcal{L}_{\text{AR}}$: 自回归交叉熵损失（文本 + 离散动作 token）
• $\mathcal{L}_{\text{FM}}$: Flow Matching 损失（连续动作）

创新点 2: 具身空间脚手架（Embodied Spatial Scaffolding）

核心思想: 构建空间思维链（Chain-of-Thought）推理，有效约束动作解空间

层次化预测框架（从抽象到具体）:

理论意义: 每个中间目标作为结构化信息瓶颈，抑制任务无关变化，保留语义和几何意义结构。

3. 数据策略详解

3.1 预训练数据构成（1.13T tokens）

关键设计: 将具身数据形式化为 grounding 和 caption QA 任务，使模型同时学习物理空间先验和语义知识。

3.2 中期训练数据构成（200M samples）

数据混合策略：

Vision-Language (31.5%)
├── Cambrian-737k
├── Cambrian-10M (过滤后)
├── LLaVA OneVision 1.5
└── 自收集多模态数据
Embodied Reasoning (ER) (7.2%)
├── 任务分解
├── 子任务预测
├── 动作 QA
├── 时间推理
└── 任务进度估计
Simulation Data (17.7%)
├── LIBERO (4 个任务)
├── RoboTwin 2.0 (50 个任务)
└── Habitat 自收集导航轨迹
Single-Arm Data (23.9%)
├── 自收集数据 (Franka, UR5, ARX-5, UMI)
└── 开源数据 (OXE, Fuse)
Dual-Arm Data (19.7%)
├── 自收集 ALOHA 数据
└── 开源数据 (RoboMind, Agibot Alpha, Galaxea)

3.3 数据处理技术

轨迹表示:

• 存储为 episodic JSONL 记录
• 每时间步包含：多视角观察、语言指令、本体感受状态
• 可选：子任务、目标框、2D 夹具航点轨迹

对话增强:

• 设计500 个不同的对话模板
• 训练时随机选择，引入语言多样性
• 防止对特定提示结构的过拟合

动作形式化:

• 构建 50 步短视界窗口
• 归一化后量化为 255-bin 词汇表作为特殊动作 token
• VLM 预测 token 化轨迹，动作专家回归连续轨迹

4. 实验结果分析

4.1 评估基准：RoboChallenge

• 任务数: 30+ 长程桌面操作任务（Table30）
• 要求: 多步推理、空间理解、精确连续控制
• 领域: 物体拾取、放置、重排、工具使用、组合指令跟随

4.2 主要结果

Specialist 设置（专家模型）

关键优势:

• 参数量最小（2B），性能最高
• 在复杂长程任务上表现突出：
  • 'arrange fruits in basket': 100% (对比：Spirit-v1.5 80%)
  • 'plug in network cable': 80% (对比：其他模型 0-20%)
  • 'sweep the rubbish': 80% (对比：其他模型 20-60%)

Generalist 设置（通用模型）

关键优势:

• 性能是π0.5的2倍以上
• 在需要精确操作和长程推理的任务上表现卓越：
  • 'stack color blocks': 100/100 (π0.5: 10/30)
  • 'place shoes on rack': 100/98.5 (π0.5: 0/20)
  • 'search green boxes': 100/95.5 (π0.5: 0/3)

4.3 多模态理解能力

DM0 在保持机器人控制能力的同时，保留了核心 VQA 功能：

具身场景（Table 3）:

• 场景描述
• 物体检测与属性识别
• 机器人臂抓取物体识别

通用场景（Table 4）:

• OCR（书籍封面识别）
• 场景描述（城市街道、室内环境）

思维链推理（Table 5）:

• 子任务分解（'整理玩具' → 具体步骤）
• 初始子任务识别
• 特定子任务规划

移动应用潜力（Table 6）:

• GUI 理解（美团外卖、Steam 界面）
• 操作指导（'应该按哪个按钮'）

5. 技术贡献总结

5.1 理论贡献

1. 重新定义 VLA 训练范式: 提出'具身原生'概念，证明从训练初期整合物理数据比后期适配更有效
2. 混合梯度策略的形式化: 通过数学上解耦动作专家和 VLM 的梯度流，解决了多目标优化的冲突问题
3. 层次化空间推理框架: 将复杂的物理任务分解为从语义到几何再到控制的渐进式学习路径

5.2 工程贡献

1. 三阶段可扩展训练流程: 提供从通用基础到专业部署的清晰路径
2. 大规模异构数据整合: 成功融合 Web、自动驾驶和机器人数据（1.13T tokens）
3. 高效架构设计: 2B 参数模型超越 3-4B 参数竞争对手，证明架构效率的重要性

6. 局限性与未来工作

6.1 当前局限

1. 模型规模: 目前为轻量级模型（2B 参数），尚未探索更大规模的涌现能力
2. 模态局限: 主要依赖视觉和文本，缺乏触觉、音频、深度信息
3. 长程推理: 尽管有空间脚手架，极长程任务仍是挑战

6.2 未来方向

7. 结论

DM0 代表了 VLA 领域的重要范式转变：

核心洞察: 构建具有内在、多源物理先验的 VLA 模型，比纯粹从语义模型适配是通往鲁棒物理 AI 更有效的路径。

通过统一预训练、混合梯度策略和空间思维链脚手架三大技术创新，DM0 在 2B 参数规模上实现了：

• 专家设置 62% 成功率（超越之前 SOTA 10% 以上）
• 通用设置 37.3% 成功率（超越π0.5两倍多）

这项工作为下一代具身智能模型的发展奠定了重要基础，特别是在数据效率、架构设计和训练策略方面提供了可复用的方法论。