Ground Slow, Move Fast: Dual-System Foundation Model for VLN

3. METHOD

3.1 Overview

• 系统 2：基于 VLM 的规划器，通过在图像像素空间中预测中期路点进行全局规划，提供空间锚定的目标。
• 系统 1：多模态目标条件化的扩散策略，以当前观测和来自系统 2 的异步潜在特征为条件生成连续轨迹，实现鲁棒的实时控制。

3.2 SYSTEM 2: VLM-BASED PIXEL-GOAL GROUNDING WITH SELF-DIRECTED VIEW ADJUSTMENT

3.2.1 Farthest Pixel Goal Grounding

• 基座模型：Qwen-VL-2.5。将高层规划建模为最远像素目标锚定问题。
• 流程：输入多帧视觉 + 文本，输出 2D 像素坐标。训练样本通过将智能体的 3D 轨迹投影到 2D 的第一人称观测图像上获得，并利用深度图识别可见区域。

3.2.2 Self-Directed View Adjustment

• 系统 2 自主决定何时扫描环境并调整相机角度（如左/右转 15°），在预测下一个像素目标之前主动寻找信息丰富的视角，解决高度视角差和 FOV 限制问题。

3.3 SYSTEM 1: A DIFFUSION TRANSFORMER POLICY WITH MULTIMODAL CONDITIONING

3.3.1 Latent Goal Representation

• 系统 2 内部隐藏层状态编码了丰富的多模态上下文信息 $X$。附加一组可学习的潜在查询 $Z$，通过 prompt tuning 更新，从 $X$ 中提取与任务相关的语义信息，生成中间潜在目标表征 $Z'$。

3.3.2 Multi-Modal Conditioning Diffusion Transformer

• 系统 1: DiT：生成平滑的轨迹（32 个密集的路径点）。输入包括来自系统 2 的低频轨迹潜在特征 $Z'$ 和高频的 RGB 输入。
• 异步推理处理：在时间 $t+k$，系统 1 需解释时间 $t$ 生成的过时潜在目标，估计已行驶距离并适应动态变化。融合两个时间步的特征，并通过 Q-Former 压缩为 32 个 token。

3.3.3 Flow Matching

• 给定真实轨迹路点 $X_0$ 和两个条件信号（轨迹潜在特征 $Z'$ 和融合 RGB token $F$）。
• 加噪轨迹定义为：$X_u = \alpha_u X_0 + \sigma_u \epsilon$。
• DiT 被训练用于预测时间步 $u$ 时轨迹的速度 $\dot{X}_u$，该预测以 $Z'$ 和 $F$ 为条件。
• 训练目标是最小化预测速度与真实速度之间的均方误差：$\mathcal{L}{\text{flow}} = \mathbb{E}{u, X_0, \epsilon} [| \hat{\dot{X}}_u - \dot{X}_u |_2^2]$。

3.4 IMPLEMENTATION DETAILS

• 系统 2 的训练配置：采用 7B 参数的 QwenVL-2.5，沿用 StreamVLN 的数据配方，进行 1 个 Epoch 的全参数微调。
• 系统 1 的网络结构：设定 4 个可学习的潜在查询，维度从 3584 线性投影至 768。视觉编码器采用 DepthAnythingV2-Small 的 ViT 骨干。DiT 包含 12 个 Transformer 层、384 隐藏层维度及 6 个注意力头。

4. SOCIAL VISION-AND-LANGUAGE NAVIGATION BENCHMARK

4.1 研究动机

• 打破静态环境的局限：传统 VLN-CE 基准缺乏对动态障碍物（如走动的人）的模拟。真实环境中机器人需具备社会意识（避让行人）及轨迹恢复能力。

4.2 Benchmark Curation

• 技术底座：建立在经典的 R2R-CE 静态数据集之上，利用 Habitat 3.0 仿真器引入逼真的动态人形智能体。
• 策略性放置：将行人放置在导航的标准轨迹上，增加交互概率，同时确保通道未被完全堵死。

4.3 Metrics

• 引入人类碰撞率（Human Collision Rate, HCR），量化机器人与动态行人发生不安全交互的失败次数，评估任务完成度与安全意识。

4.4 Training Data Collection

• 开发自动化数据生成流水线采集动态避障专家轨迹。当画面中行人掩码占比超过阈值时触发避障逻辑，调用修改版 A* 算法重新规划无碰撞安全绕行轨迹。
• 在 60 个 MP3D 室内场景中，自动生成高达 76.3 万个包含社会导航交互的回合数据。

5. EXPERIMENTS

5.1 SIMULATION EXPERIMENTS

5.2 REAL-WORLD CROSS-EMBODIMENT EXPERIMENTS

5.3 ABLATION STUDY