VLA 机器人技术演进：10 篇视觉 - 语言 - 动作模型核心论文解析

3. OpenVLA: An Open-Source Vision-Language-Action Model

发表机构：斯坦福大学、UC Berkeley、Physical Intelligence
时间：2024 年 6 月
论文链接：arXiv:2406.09246

RT-2 等模型虽强大但闭源且参数量巨大，限制了学术界和初创公司的使用。OpenVLA 旨在构建一个开源、高效、性能 SOTA 的 VLA 模型。

其架构融合了 DINOv2 和 SigLIP 作为视觉编码器，Llama 2 7B 作为 backbone，并将动作离散化为 256 bins 视为 text token 预测问题。相比闭源模型，OpenVLA 仅需 7B 参数，推理速度快 7 倍，且在 29 个任务上的成功率比 RT-2-X 高 16.5%。它支持 LoRA 微调，仅需调整 1.4% 参数即可适配新任务，这使得消费级 GPU 也能运行。这不是简单的堆参数，而是精准融合：DINOv2 捕捉视觉细节，SigLIP 理解语义意图，Llama 2 整合推理能力。

4. 3D Diffusion Policy (DP3)

发表机构：MIT、清华大学、上海交通大学
时间：2023 年 12 月
论文链接：CoRL 2025

2D 图像缺乏深度信息，导致机器人难以理解空间关系。DP3 将 3D 点云表示与扩散策略结合，让策略模型具备 3D 空间推理能力。

技术实现上，它输入稀疏采样的单视角点云，使用轻量级 Point Transformer 提取 3D 特征，并以 3D 表示为条件迭代去噪生成动作序列。与只能隐式推断深度的 2D CNN/ViT 不同，DP3 显式建模 3D 几何，对旋转、平移具有天然不变性，且对遮挡更鲁棒。实验显示，在 72 个仿真任务中，仅用 10 个演示，成功率比 baseline 高 24.2%。

5. Octo: An Open-Source Generalist Robot Policy

发表机构：UC Berkeley、CMU、Google DeepMind
时间：2024 年 1 月
论文链接：Octo Models

现有 VLA 模型往往针对特定机器人硬件设计，迁移到新传感器配置时需要重新训练。Octo 设计了一个模块化、易于微调的泛化机器人策略。

其核心是 Transformer-based 扩散策略加模块化注意力机制。它支持灵活输入（语言指令或目标图像、观察历史、多相机），扩散解码生成连续动作分布。架构分为 Octo-Small（27M 参数）和 Octo-Base（93M 参数）。模块化设计允许针对不同传感器或动作空间只调整对应模块，无需从头训练。这就像搭积木一样，视觉、语言、动作模块可以独立替换或升级，而不影响整体框架。

前沿突破篇：五篇热度最高的论文

这部分代表了 2024-2026 年 VLA 领域的最新突破，引领未来发展方向。

6. NVIDIA Isaac GR00T N1: Open Foundation Model for Humanoid Robots

发表机构：NVIDIA
时间：2025 年 3 月
论文链接：NVIDIA Research

人形机器人需要全身协调控制，传统 VLA 难以处理如此高维的动作空间。GR00T N1 构建了快速、灵巧、全身控制的人形机器人基础模型。

它采用双系统设计：System 2（慢思考）基于 NVIDIA-Eagle + SmolLM-1.7B 的 VLM，处理视觉和语言，生成高层规划；System 1（快反应）是 Diffusion Transformer 动作模型，接收 System 2 的 latent vector，生成高频连续控制指令。这种解耦思考与执行的架构，模仿了人类行为模式。System 1 以 7Hz 生成动作块，配合底层控制器实现平滑执行，首个支持整个上半身连续控制的 VLA。

7. VITRA: Scalable VLA Pretraining with Human Videos

发表机构：微软亚洲研究院
时间：2026 年 1 月
论文链接：Microsoft Research

机器人训练数据稀缺且昂贵，而互联网上有海量人类操作视频。VITRA 提出自动化重建管道，将非结构化的人类视频转化为机器人可用的训练数据。

步骤包括：从人类视频中提取第一视角手部轨迹，将人手动作映射到与机器人数据一致的结构化格式，在大规模人类视频上预训练，最后仅用 1000+ 机器人遥操数据即可迁移到真实任务。人类视频就像'教科书'，虽然手和机械手构造不同，但操作逻辑是通用的。实验显示，仅 1000 条机器人数据，成功率从 30-40% 提升至 70%+。

8. Physical Intelligence π0.5: VLA with Open-World Generalization

发表机构：Physical Intelligence
时间：2025 年 4 月
论文链接：Physical Intelligence Blog

现有 VLA 模型在训练环境内表现优异，但面对完全陌生的新家庭/新场景时容易失效。π0.5 致力于让机器人具备真正的'开放世界泛化能力'。

核心策略是异构数据联合训练，数据来源包括多样环境、多模态网络数据、多 embodiment 数据及语言指导演示。架构基于 π0 VLA，支持 Chain-of-Thought 式推理：模型先输出高层文本动作，再生成低层连续动作。通过在多样环境训练，模型学到的是任务的本质而非特定环境的记忆。在 100 个训练环境后，模型在新环境的性能接近直接在测试环境训练的 baseline。

9. CoA-VLA: Chain-of-Affordance for Better Reasoning

发表机构：ICCV 2025
时间：2025 年
论文链接：ICCV 2025 Paper

VLA 模型虽能执行语言指令，但缺乏可供性推理——不理解'哪里可以放物体'、'如何避开障碍'。CoA-VLA 引入了 Chain-of-Affordance 框架。

设计思想包括：从自由文本指令中解析物体名称，预测物体的 2D 位置，推断无碰撞路径和可放置区域，并将可供性知识转化为视觉和文本可供性注入策略网络。人类执行'把杯子放桌上'时，会自动排除边缘易掉落的位置。CoA-VLA 让机器人也进行这种推理，显式建模空间约束，生成动作前先推理'哪里安全'。实验结果超越 OpenVLA 成功率 30.65%，且模型参数更小。

10. WorldVLA: Autoregressive Action-World Model

发表机构：清华大学、上海交通大学
时间：2025 年 6 月
论文链接：Literature Review

传统 VLA 只预测动作，不理解物理规律。WorldVLA 让 VLA 具备物理世界建模能力，生成更符合物理直觉的动作。

核心架构统一了动作模型和世界模型：世界模型预测未来图像，学习环境物理规律；动作模型生成动作，利用世界模型的物理理解辅助视觉理解。两者联合优化，采用自回归框架，动作和图像 token 交错生成。人类学习新技能时，会在脑海中'预演'。WorldVLA 让机器人也拥有这种'心理模拟'能力。有动作条件的世界模型优于纯视频预测模型，物理知识提升抓取成功率 4%。

总结与未来展望

技术演进脉络

• 第一代（RT-1）：从机器人数据学习，任务特定
• 第二代（RT-2, RT-X）：融合互联网数据，跨 embodiment 泛化
• 第三代（OpenVLA, Octo）：开源基础模型，模块化设计
• 第四代（GR00T, π0.5）：双系统架构，开放世界泛化
• 未来方向（WorldVLA, CoA-VLA）：物理推理、可供性理解

核心挑战

1. 数据问题：真实机器人数据昂贵，需利用人类视频缓解
2. Sim-to-Real Gap：仿真数据难以完全迁移，需混合真实 + 仿真数据
3. 实时性：高维动作空间推理速度慢，需双系统或 action chunking
4. 安全性：开放环境中的碰撞风险，需可供性推理
5. 长期规划：复杂任务需要多步推理，需 chain-of-thought

未来方向

• 更大规模预训练：利用全网视频（人类、动物、仿真）
• 自主学习：从失败经验中改进，减少人类监督
• 多模态感知：融合触觉（VTLA）、听觉（VLAS）
• 可解释性：理解 VLA 的推理过程，提高可信度
• 边缘部署：压缩模型至消费级硬件（4-bit 量化）

VLA 模型正将机器人从'工具'转变为'智能体'。从 Google DeepMind 的 RT-2 奠基，到 NVIDIA GR00T N1 的人形机器人突破，再到微软 VITRA 的预训练新范式——这场革命才刚刚开始。当机器人能像人类一样理解世界、推理任务、执行操作时，真正的通用机器人助手将不再是科幻。

推荐阅读顺序：RT-2 → Open X-Embodiment → OpenVLA → 3D Diffusion Policy → Octo → GR00T N1 → VITRA → π0.5 → CoA-VLA → WorldVLA