机器人操作 VLA 模型强化学习综述

构建能够执行各种操作任务的通用机器人系统的愿景已通过视觉 - 语言 - 动作模型（VLA）得到显著推进。VLA 利用大规模预训练，通过模仿学习获取通用的视觉运动先验知识。然而，目前的预训练 VLA 仍需微调才能适应实际部署，因为传统的模仿学习由于依赖于状态和动作覆盖范围有限的已收集数据集，难以实现分布外（OOD）泛化。强化学习（RL）利用自探索和结果驱动优化来增强 VLA 的 OOD 泛化能力。本文概述 RL 如何弥合预训练和实际部署之间的差距，并全面介绍 RL-VLA 的训练范式。分类体系围绕四个核心维度展开，反映从学习到部署的完整生命周期：RL-VLA 架构、训练范式、实际部署以及基准测试和评估。

为了说明将强化学习（RL）方法扩展到 VLA 模型时存在的差距，形式化 RL-VLA 问题，详细描述其状态表示、动作空间、奖励函数和环境动态。将机器人操作任务形式化为马尔可夫决策过程（MDP），由元组 (S, A, p, r, γ) 定义。强化学习的目标是学习一个由θ参数化的策略π_θ(a_t | s_t)，以最大化预期折现收益 J(π)，其中 τ = (s_0, a_0, s_1, a_1, . . .) 是由策略生成的轨迹，T 是任务范围。在 RL-VLA 的背景下，这种形式是高度专门化的。状态 S 是多模态且高维的，通常定义为 s_t = (ovis_t, oprop_t, l_task)，包含视觉观测（例如，RGB 图像、点云）、本体感觉信息（例如，关节角度、末端执行器姿态）和语言指令。动作 A a_t 由 VLA 的解码器根据其内部隐状态生成。值得注意的是，VLA 通常使用扩散解码器或动作 token 化器等机制输出动作块 a_t:t+k−1，而不是单步动作。奖励 r(s_t, a_t) 对优化至关重要，它通常将稀疏的二元任务成功信号与密集的、基于过程的奖励（例如，到目标的距离）相结合，以提供更丰富的学习信号。最后，转移模型 p(s_{t+1} | s_t, a_t) 可以在仿真中定义，也可以由真实世界机器人感知到的物理交互隐式确定。

为最优决策而开发的强化学习算法主要分为三大类。基于价值的方法，例如深度 Q 网络 (DQN)，侧重于估计价值函数，以确定每个状态或状态 - 动作对的预期累积奖励。相比之下，策略梯度方法，例如近端策略优化 (PPO)，通过计算预期收益相对于策略参数的梯度来直接优化策略。最后，诸如软 A-C（SAC）之类的 Actor- Critics 方法，通过同时学习价值函数（Critics）和策略（Actors）来结合这些方法。这些方法可以是无模型的，直接从交互中学习策略；也可以是基于模型的，首先学习转移模型 p。算法还可以根据在线策略（从当前策略数据学习）或离线策略（从回放缓冲区学习）来区分。

尽管强化学习（RL）取得了显著进展，但将 RL 与 VLA 模型集成仍然面临着独特的挑战，需要进一步研究。早期关于 RL-VLA 的研究已经奠定了重要的基础，并展示了有前景的方向。这些研究涵盖了多种范式，包括离线、在线和测试时 RL。在离线强化学习（RL）领域，策略从预先收集的固定数据集中学习。ReinboT 通过预测密集回报来更好地利用混合质量数据，从而整合了强化学习原理。而 CO-RFT 则引入分块强化学习（Chunked RL），这是一个新框架，它扩展时间差分（TD）学习，使其与许多 VLA 中固有的动作分块机制兼容。对于在线强化学习，它通过试错主动收集新经验来改进策略。VLA-RL 通过提出轨迹级强化学习公式并使用 VLM 作为机器人流程奖励模型来解决稀疏奖励挑战，从而利用在线改进。类似地，SimpleVLA-RL 提供一个高效的强化学习框架，其中包含增强探索的策略，使策略能够发现演示数据之外先前未见过的模式。最后，测试时方法可以增强部署时的策略：V-GPS 引入价值引导策略转向（Value-Guided Policy Steering），它使用离线学习的价值函数对策略的动作进行重排序，而无需任何权重更新；Hume 实现一个双系统模型，该模型通过在运行时采样和选择最佳动作候选来执行价值引导的系统 -2 思维。尽管 VLA-RL 领域取得开创性的贡献和令人瞩目的进展，但在这些系统能够在动态、开放的物理环境中稳健运行之前，仍然存在着巨大的挑战，这为进一步的研究留下了广阔的空间。

如图所示 RL-VLA 的分类：

尽管基于模仿学习的预训练使得 VLA 模型在各种操作任务中都能取得优异的性能，但其泛化能力仍然受限于离线数据覆盖范围的不足，尤其是在 OOD 状态下。为了解决这一限制，近期研究将预训练的 VLA 模型与强化学习（RL）相结合，将开环推理转化为由在线反馈驱动的闭环优化过程。在这种架构下，策略与环境交互，收集轨迹，并通过奖励引导的更新逐步调整自身行为。

动作

在 RL-VLA 中，动作模型充当视觉观察和物理交互动作之间的桥梁。虽然预训练的 VLA 通常以开环方式生成动作，但强化学习进一步引入任务级监督，使得策略能够通过交互和反馈进行调整，从而提升泛化能力。基于对操作动作空间的预测方法，强化学习（RL）在动作生成改进中可以发挥不同的作用，从自回归动作模型中的 token 级监督，到生成式动作模型中的序列级优化，再到结合高层推理和低层控制的双 - 系统 VLA 中的层级协调。

1）自回归模型：自回归 VLA 遵循语言建模范式，将机器人操作建模为离散 token 空间中的序列决策过程，其中动作通过对下一个 token 的预测逐步生成。强化学习可以直接利用自回归 VLA 输出的 token 预测概率，通过 token 级监督和奖励驱动机制实现更稳定的策略优化。该范式在机器人场景中展现出更优的任务适应性和泛化能力，并启发了一系列后续工作，这些工作探索自回归 RL-VLA 在在线微调和离线策略改进方面的应用。具体而言，TGRPO 将策略梯度目标重写为基于优势加权的 token 级交叉熵损失，从而能够在不改变动作头形式的前提下，对 VLA 动作生成进行稳定的强化学习微调。CO-RFT 进一步利用动作概率的时空动态特性，解决了自回归 VLA 离散动作预测中轨迹一致性较差的问题。