
OpenVLA 模型解析:基于 Prismatic VLM 与下一个 Token 预测的动作生成
OpenVLA 是基于 Prismatic VLM 构建的开源视觉 - 语言 - 动作模型。它利用 SigLIP 和 DinoV2 作为视觉编码器,Llama 2 作为语言骨干,通过离散化机器人动作并映射到 LLM 词表,采用下一个 Token 预测技术进行训练。该模型在 Open-X Embodiment 数据集上微调,支持多机器人控制及高效 LoRA 微调。实验表明其在泛化能力和任务成功率上优于部分闭源模型如 RT-2-X,且推理速…










