Ground Slow, Move Fast: 一种通用可泛化的双系统视觉 - 语言导航基础模型

最远像素目标锚定

为了使 Qwen-VL-2.5 适应 VLN 任务，我们将高层规划建模为一个最远像素目标锚定问题。输入为多帧视觉加文本，输出为 2D 像素坐标。训练样本通过将智能体的 3D 轨迹投影到 2D 的第一人称观测图像上获得，并利用深度图和相机到像素点的距离识别可见区域，丢弃被遮挡的点。

自主视角调整

将 3D 轨迹投影到 2D 像素坐标上可能会引发高度视角差导致的深度歧义，以及 FOV 限制导致的目标丢失。系统 2 自主决定何时扫描环境并调整相机角度，使用如左/右转 15°、上/下看 15°等离散动作，在预测下一个像素目标之前，主动寻找信息丰富的视角。

System 1: 多模态条件化的扩散 Transformer 策略

潜在目标表征

系统 2 在完成显式目标预测的同时，其内部的隐藏层状态已经编码了丰富的多模态上下文信息，记为序列 $H$。附加一组可学习的潜在查询 $Z$，它们被随机初始化并通过 prompt tuning 进行更新。将拼接后的序列 $[H; Z]$ 输入 VLM 进行处理，使得 $Z$ 能够关注并从 $H$ 中提取与任务相关的语义信息。生成的结果 $Z'$ 构成了中间潜在目标表征，作为系统 1 进行精确的底层轨迹生成的条件。

多模态条件化扩散 Transformer

系统 1 采用 DiT 生成平滑的轨迹（32 个密集的路径点）。由于双系统推理是异步执行的，在时间 $t$ 生成的潜在目标保持固定，而在时间 $t+k$，系统 1 仍必须解释这个过时的潜在目标以准确更新轨迹。因此，系统 1 同时编码了系统 2 在时间 $t$ 的最后一帧 RGB 特征，以及时间 $t+k$ 的当前观测特征。

流程如下：两幅图像首先由 ViT 编码器处理提取高维视觉特征，使用自注意力模块融合这两个时间步的特征。为了保持快速推理，融合后的特征被 Q-Former 进一步压缩为 32 个 token。

流匹配 (Flow Matching)

给定真实轨迹路点 $X_0$ 和两个条件信号（轨迹潜在特征 $Z'$ 和融合 RGB token $F$）。在每个训练步，采样扩散时间步 $u \sim \mathcal{U}(0, 1)$ 和噪声向量 $\epsilon \sim \mathcal{N}(0, I)$。加噪轨迹定义为： $$ X_u = \alpha_u X_0 + \sigma_u \epsilon $$ DiT 被训练用于预测时间步 $u$ 时轨迹的速度 $\dot{X}u$，该预测以 $Z'$ 和 $F$ 为条件： $$ \hat{\dot{X}}u = f\theta(X_u, u, Z' \oplus F) $$ 其中 $\oplus$ 表示拼接，$f\theta$ 是 Transformer 网络。与标准 DDPM 预测噪声不同，流匹配的 DiT 预测的是从纯噪声指向真实数据的速度向量。训练目标是最小化预测速度与真实速度之间的均方误差： $$ \mathcal{L}{\text{flow}} = \mathbb{E}{u, X_0, \epsilon} \left[ | \hat{\dot{X}}_u - \dot{X}_u |_2^2 \right] $$

实现细节

• 系统 2 的训练配置：采用 70 亿参数的 QwenVL-2.5 作为基座模型，沿用 StreamVLN 的数据配方。进行了 1 个 Epoch 的全参数微调，即视觉编码器和 LLM 主干网络在训练期间均参与梯度更新。
• 系统 1 的网络结构：设定了 4 个可学习的潜在查询来提取系统 2 的隐式目标特征。在输入扩散模型前，这些特征的维度被从 3584 线性投影至 768。视觉编码器采用 DepthAnythingV2-Small 的 ViT 骨干网络。DiT 被设计得非常紧凑：仅包含 12 个 Transformer 层、384 的隐藏层维度以及 6 个注意力头，保障极低的推理延迟。

Social-VLN 基准

研究动机

传统的 VLN-CE 基准测试专注于静态的室内布局，缺乏对动态障碍物（如走动的人）的模拟。在真实环境中，机器人不仅需要能到达终点，还必须具备社会意识——即在遇到行人时能主动避让，并在绕路后具备轨迹恢复能力，继续完成原定的导航任务。

基准构建

该基准建立在经典的 R2R-CE 静态数据集之上，利用 Habitat 3.0 仿真器引入了逼真的动态人形智能体。作者没有让行人在场景中漫无目的地随机游走，而是将行人放置在导航的标准轨迹上，极大地增加了机器人与行人相遇并产生交互的概率。为保证测试合理性，对每一个测试回合进行了严格校验，确保行人不会把通道完全堵死。

指标与数据采集

在保留传统 VLN 成功率等标准指标的基础上，引入了人类碰撞率（Human Collision Rate, HCR），专门用于量化机器人与动态行人发生不安全交互的失败次数。为了让系统 1 学会躲避行人，开发了一套自动化的数据生成流水线。当画面中行人掩码的像素占比超过预设阈值时，触发避障逻辑，调用修改版的 A* 算法重新规划安全绕行轨迹。依靠这套流水线，作者在 60 个 MP3D 室内场景中，自动生成了高达 76.3 万个包含社会导航交互的回合数据。

实验

仿真实验

在连续仿真环境（VLN-CE）和物理写实环境（VLN-PE）中均达到 SOTA 水平。

真实世界跨形态实验

真实世界的机器人部署证明了该架构不仅能完成复杂的长程规划，还能在充满动态干扰的真实环境中展现出极强的实时自适应能力。

消融实验

通过对不同组件的移除与替换，验证了各模块的有效性。