PPO-VLA：强化学习如何提升机器人泛化能力

必要的 VLA 预热：直接使用在通用数据集上预训练的 VLA 模型进行 RL 训练，初期效率低下。研究者先用少量目标任务的演示数据对模型进行监督微调预热，这能使 RL 收敛所需的环境交互步数减少约 50%。

这套方案使得在单个 NVIDIA A100 GPU 上微调一个 7B 参数的 VLA 模型仅需约 42 小时，具备了很强的实用性。

系统评估：RL 在哪些方面真正超越了 SFT？

为了全面评估泛化能力，研究者构建了一个涵盖三个维度的严格基准：

• 视觉泛化：测试面对未见过的桌面背景、叠加动态纹理或噪声时的鲁棒性。
• 语义泛化：测试对未见过的物体、容器以及多样化语言指令的理解能力。
• 执行泛化：测试在物体/容器初始位置变化、机器人初始姿态变化、甚至任务中途物体被意外移动等情况下的鲁棒性。

在训练中，模型会接触到上述三个维度有限范围内的随机变化。而在测试时，则专门引入分布外的挑战，例如全新的物体、桌子纹理和干扰项。

关键结果：RL 全面领先，尤其在语义与执行层面

首先，研究者探索了监督微调的性能上限。随着演示数据量增加，SFT 性能在约 1.6 万条轨迹后达到平台，无法再通过增加数据获得显著提升。

随后，他们将达到饱和的 SFT 模型（SFT-16k）与 PPO 微调的模型进行全方位对比。核心结论清晰有力：RL 微调不仅在训练分布上达到与最佳 SFT 相当的水平，更在分布外泛化上实现了大幅超越。具体而言，在未见过的物体和桌子测试中，RL 相比 SFT 性能提升了 42.6%。

更细致的分维度对比如下表所示：

表：SFT 与 RL 在各类分布外任务上的性能对比。RL 在语义和执行泛化上优势显著。

分析解读

1. 视觉泛化相当：RL 并未在视觉扰动上表现出显著优势。研究者认为，这是因为两种方法的训练都包含了类似的视觉随机化，模型从中学习的视觉鲁棒性水平相近。
2. 语义泛化显著提升：面对全新物体，RL 表现远优于 SFT。这表明通过试错，RL 学习到的是更本质的'抓取'技能，减少了对特定物体外观的依赖。
3. 执行泛化巨大优势：这是 RL 最亮眼的地方。尤其是在'任务中物体重定位'这种极端动态干扰下，RL 的成功率是 SFT 的三倍以上。RL 智能体学会了在抓取失败或目标移动后主动调整、重新尝试，而 SFT 智能体则倾向于机械地执行预设动作流程。

定性洞察：RL 学到了更丰富的策略空间

为何 RL 能获得更好的泛化能力？可视化分析提供了线索。

如图 8 所示，SFT 模型的轨迹分布紧密聚集在演示数据提供的运动规划路径周围，本质上是'模仿'。而 RL 模型的轨迹则覆盖了更广阔的工作空间和更多样的姿态，这是其通过探索学到的、更丰富的技能集。

图 9 的案例生动展示了这种差异：

1. 在强视觉噪声下，SFT 智能体抓取后因定位困难而反复掉落物体；RL 智能体则能克服干扰完成放置。
2. 面对未见物体，SFT 智能体出现困惑行为（试图抓取已持有的物体）；RL 智能体则能顺利执行。
3. 当物体被意外移动，SFT 智能体'无视'变化继续原计划导致失败；RL 智能体则能重新定位并成功抓取。

结论与展望：通向更通用机器人智能的强化学习之路

这项来自清华大学的研究通过严谨的实证分析，明确了强化学习在提升 VLA 模型泛化能力中的独特价值：

• 算法有效性：PPO 是当前微调 VLA 模型最有效的 RL 算法，优于 DPO 和 GRPO。
• 性能增益：相比监督微调，RL 能显著提升模型对语义变化和执行干扰的鲁棒性，同时在视觉泛化上保持相当水平。
• 实用方案：研究提出了一套高效的 PPO-VLA 微调方案，具备实际应用可行性。

一个值得注意的技术细节是评论家网络的设计。研究发现，使用共享骨干网络，并取第一个动作词元对应的隐藏状态作为评论家输入，在性能和效率上达到了最佳平衡。这一设计充分利用了 VLA 模型因果 Transformer 的特性，其中第一个动作词元的位置可能聚合了为生成整个动作序列所需的综合状态信息。

这项工作的意义在于，它系统性地验证了强化学习作为突破 VLA 模型'模仿学习'天花板的关键工具。尽管当前实验限于仿真环境中的单一任务，但其揭示的原理——通过试错探索获得更本质、更鲁棒的技能表示——为未来开发能适应复杂、开放世界环境的通用具身智能体指明了方向。

下一步，将 RL 微调与仿真到真实的迁移技术结合，在物理机器人上验证其泛化能力，将是激动人心的前沿。