TwinRL-VLA：数字孪生驱动的现实世界机器人强化学习

在四个操作任务上评估 TwinRL，所有任务均基于相同的 VLA 骨干网。在 SFT 阶段，与仅使用真实世界演示进行训练相比，探索空间扩展策略将平均成功率提高 42%。在在线强化学习过程中，TwinRL 在真实世界演示覆盖的分布内区域和 OOD 区域中均取得 100% 的成功率，相比之前的真实世界强化学习方法至少提高 30% 的速度，并且在四个任务中平均仅需约 20 分钟。

探索空间扩展策略

数字孪生构建

构建目标操作环境的高保真数字孪生，作为 TwinRL 中探索先验扩展的主要基础。该数字孪生模型通过以下方式快速实例化：首先，利用 3DGS 工具重建场景；其次，利用 SAM3D 重建可操作物体；最后，利用 URDF 模型重建机器人。所有组件均统一为基于网格的资源，以便在 Blender 中进行运动学组装和高效渲染。为了实现双向知识迁移，在视觉和机器人状态两个层面上将数字孪生与真实环境进行对齐。对齐基于 URDF 定义的机器人坐标系：首先通过点云配准获得粗略匹配，然后使用可微分的 3DGS 渲染对其进行细化，以使渲染结果与真实观测结果对齐，从而获得一致的坐标系。数字孪生模型并非采用完整的物理仿真，而是使用优先考虑视觉 - 几何一致性的运动学交互模型。采用以对象为中心的表示方法，利用 AnyGrasp 估计被操作对象的 6 自由度抓取姿态，从而定义对象与末端执行器之间的关系。

探索放大器

在预热阶段，将数字孪生模型视为探索放大器，通过丰富轨迹多样性来扩展后续在线强化学习的有效探索空间。通过改变对象的初始配置、目标姿态和运动路径，生成超越真实演示的多种以对象为中心的合成轨迹。给定物体的初始姿态 $T_0$ 和期望目标姿态 $T_{target}$，估计一个与任务一致的抓取姿态 $T_{grasp}$，并推导出边界末端执行器姿态。中间轨迹通过运动规划生成，或者通过对单个演示轨迹应用仿射变换生成，从而确保轨迹质量。值得注意的是，对于一个 30 步的任务，在并行处理的情况下，只需要大约 1 分钟即可构建一组数字孪生演示。为了将这些增强的行为内化，通过最小化模仿学习损失，在合并缓冲区 D 上执行 SFT 阶段。用数字孪生不仅是为了缓解分布外区域中的探索死锁，也是为了收集额外的分布内数据，从而缩小仿真与真实之间的差距。

仿真到真实引导探索

尽管该方法扩展了 VLA 模型在 SFT 阶段的探索支持，但由于两个关键瓶颈，直接在真实机器人上启动在线强化学习仍然并非易事。首先，监督演示数据 $D_{sft}$ 与强化学习风格的专家轨迹 $D_{rl}$ 之间的分布不匹配会导致离线到在线过渡期间严重的性能下降和 Q 值不稳定。其次，人在环（HiL）引导的在线强化学习仍然需要较高的样本复杂度，并且严重依赖于操作人员的专业知识。

孪生在线强化学习阶段

为了弥合演示数据和强化学习风格交互数据之间的分布差距，首先在数字孪生中执行并行在线强化学习。在此阶段，策略 $\pi_\psi$ 由 SFT 模型初始化，并通过与 N 个并行孪生环境的交互进行训练。采用一种联合目标函数，该函数将强化学习与基于模仿的正则化项相结合，以稳定基于孪生环境在线交互过程中的策略更新。该目标函数被定义为：

$$ L_{twin_\pi}(\psi) = \beta L_{IL_\pi} + \eta L_{Q_\pi} $$

通过此过程，孪生在线强化学习阶段高效地收集各种轨迹 $\tau_{twin}$，包括成功执行、失败和恢复行为，并将其存储在孪生回放缓冲区 $D_{twin}$ 中。值得注意的是，并行处理能够在大约 1 分钟内生成一组展开。由于演示数据和强化学习风格的交互数据之间存在分布差异，早期在线学习可能会出现不稳定。因此，在数字孪生中高效完成在线学习后，使用从孪生缓冲区传输的数据初始化真实世界的回放缓冲区 $D_{init} \leftarrow D$。通过提供更均衡的训练信号，真实世界的孪生回放缓冲区可以减少训练的不稳定性，并缓解从离线 SFT 过渡到真实世界在线学习时初始训练阶段的性能下降。

真实世界在线强化学习

利用数字孪生识别状态空间中易出错的区域，并指导真实世界在线强化学习的初始状态分布。与以往依赖于真实世界部署的基于课程或重置策略不同，数字孪生能够在不消耗物理交互预算的情况下，对各种初始配置下的策略性能进行低成本且系统化的评估。具体而言，在数字孪生中评估当前策略，并构建一个目标初始配置集 $S_{target} = { s_0 | SR(s_0) < \tau }$，其中 $SR(s_0)$ 表示从状态 $s_0$ 开始的经验成功率，$\tau$ 为熟练度阈值。在真实世界的在线交互过程中，优先从 $S_{target}$ 中选择重置，从而使学习过程能够将有限的物理交互预算集中在具有挑战性的状态上。为了进一步降低探索挑战区域的成本和风险，在真实机器人训练过程中引入人在环 (HiL) 机制。最终得到的干预轨迹存储在回放缓冲区中，并用于后续的策略更新。与现有的基于人在环的方法不同，其引入一种指导机制，其中数字孪生能够告知在真实世界的强化学习过程中，何时何地应该应用 HiL 干预。

实验装置

硬件平台

为了进行真实世界操作，使用一台 7 自由度的 Franka Emika Research 3 (FR3) 机器人进行系统实验。装置配备双摄像头感知系统，包括一个用于全局上下文的固定第三人称视角摄像头和一个用于获取精细细节的腕部摄像头。TwinRL 的实际部署基于模块化机器人平台，该平台旨在支持精确操作和高效的在线强化学习 (RL)，并减少人为干预。所有实验均在配备 3D 打印 UMI 夹爪的 7 自由度 Franka Emika Research 3 (FR3) 机械臂上进行，该机械臂能够实现精确的笛卡尔坐标末端执行器控制，从而完成接触密集型、高精度操作任务。采用双摄像头传感设置，为感知和控制提供丰富的视觉反馈。一个固定的第三人称视角 RGB 摄像头（Intel RealSense D455）用于捕捉工作空间的全局视图，而一个腕部视角 RGB 摄像头（Intel RealSense D435）则安装在末端执行器上，用于提供近距离观察。在每个时间步，观察结果包含两幅 RGB 图像：一幅来自腕部视角摄像头（调整为 128 × 128 像素），另一幅来自第三人称视角摄像头（调整为 256 × 256 像素）。

所有真实世界的演示和人机交互（HiL）均通过使用 3D Space Mouse 进行远程操作来收集，这使得操作人员能够在在线学习过程中提供高质量的专家轨迹以及有针对性的纠正干预。为了确保公平比较，所有方法均使用相同的硬件、传感和控制软件进行评估。真实世界在线强化学习的执行者和学习者进程运行在配备 NVIDIA GeForce RTX 4090 GPU 的工作站上，支持策略推理和异步训练。监督微调（SFT）阶段在配备 NVIDIA A100 GPU（80GB）的服务器上离线执行。

实验流程

将每个任务工作空间离散化为一个网格，并根据任务完成时被操作对象的中心位置，将每个 episode 分配到一个网格单元中。红色区域表示由收集的真实世界演示数据覆盖的分布内（ID）区域，而蓝色区域表示未被真实世界数据覆盖的分布外（OOD）区域。虽然使用覆盖 ID 和 OOD 区域的数字孪生数据来增强 SFT，但目标是证明数字孪生可以作为真实世界数据未覆盖区域的在线强化学习有效放大器和指导。

真实世界实验

实现细节和基线

为了确保公平比较，严格控制所有方法对真实世界演示数据的使用。HiL-SERL 将策略直接部署到物理机器人上，以执行人机交互 (HiL) 在线强化学习 (RL) 训练。ConRFT 是一个强大的基线，它利用来自 ID 区域的 30 个真实世界演示；它首先经过第一阶段 Cal-ConRFT，然后在真实世界中进行 HiL 在线 RL 微调。所有损失监督均遵循官方论文。本文方法使用相同的 30 个真实世界演示，并通过在 ID 区域添加 60 条合成轨迹和在 OOD 区域添加 30 条合成轨迹，进一步利用数字孪生作为探索放大器。报告两个变型：无缓冲区 TwinRL 和 TwinRL。它们之间的区别在于是否使用通过数字孪生中的并行在线强化学习收集的孪生回放缓冲区来初始化真实世界人机交互（HiL）在线强化学习之前的训练。对于所有方法，都使用至少 10 次随机抽样的展开试验来评估每个区域。