VLA 机器人革命：10 篇关键视觉 - 语言 - 动作模型解析

2. Open X-Embodiment: Robotic Learning Datasets and RT-X Models

发表机构：21 所机构联合（Google DeepMind 领导）
时间：2023 年 10 月
论文链接：arXiv:2310.08864

背景与挑战

不同机器人平台的数据格式各异、无法共享，导致每个新机器人都需要从零开始训练。如何打破'数据孤岛'，让一个模型能控制多种机器人形态？

核心方案与创新

核心贡献：构建了 Open X-Embodiment 数据集，包含来自 22 种机器人形态的 100 万 + 真实轨迹，并提出 RT-X 系列模型实现跨 embodiment 的正迁移。

技术创新：

• 统一数据格式：采用 RLDS 格式，支持不同动作空间、多模态输入。
• 动作空间标准化：将不同机器人的动作统一映射到 7 维 end-effector 控制 + 256 bins 离散化。
• 混合训练：RT-2-X 在机器人数据和原始 VLM 数据上 1:1 比例联合训练。

设计直觉与有效性

直觉：就像人类驾驶不同品牌的汽车时，核心的'转向 - 加速 - 刹车'逻辑是通用的，只是操作界面略有差异。RT-X 通过标准化动作空间，让模型学习任务的本质而非特定硬件的 quirks。

为什么有效：

• 数据规模：100 万轨迹的规模让模型看到足够的任务 - 物体 - 场景组合。
• 多样性红利：在 A 机器人上学到的'抓取'知识能迁移到 B 机器人，提升样本效率。

应用价值

• 学术价值：确立了机器人基础模型的数据集标准，催生 OpenVLA 等后续工作。
• 开放生态：22 机构合作模式推动社区数据共享，加速领域整体进步。

3. OpenVLA: An Open-Source Vision-Language-Action Model

发表机构：斯坦福大学、UC Berkeley、Physical Intelligence
时间：2024 年 6 月
论文链接：arXiv:2406.09246

背景与挑战

RT-2 等模型虽强大但闭源且参数量巨大，限制了学术界和初创公司的使用。如何构建一个开源、高效、性能 SOTA 的 VLA 模型？

核心方案与创新

核心架构：

• Vision Encoder：融合 DINOv2（自监督学习的丰富特征）+ SigLIP（语言对齐的语义特征）。
• Language Model：Llama 2 7B 作为 backbone。
• Action Decoder：将动作离散化为 256 bins，视为 text token 预测问题。

训练策略：基于 Prismatic-7B VLM 进行微调，使用 Open X-Embodiment 数据集的 970k 轨迹，64 张 A100 GPU 训练 15 天。

与闭源模型的差异：

• 参数效率：7B 参数量 vs RT-2-X 的 55B，推理速度快 7 倍。
• 性能超越：在 29 个任务上成功率比 RT-2-X 高 16.5%（绝对值）。
• LoRA 微调：仅需调整 1.4% 参数即可适配新任务，支持消费级 GPU。

设计直觉与有效性

直觉：不是'越大越好'，而是'精准融合'。DINOv2 捕捉物体的视觉细节，SigLIP 理解语义意图，Llama 2 整合推理能力——三者协同优于单纯堆参数。

为什么有效：

• 双视觉编码器：DINOv2 的局部特征 + SigLIP 的全局语义 = 更 robust 的场景理解。
• 动作离散化：将连续控制转化为 token 预测，复用 LLM 强大的序列建模能力。

应用价值

• 学术价值：开源权重加速研究，成为 VLA 领域的'BERT 时刻'。
• 教育价值：7B 规模让学生和小团队也能实验 VLA，降低入门门槛。

4. 3D Diffusion Policy (DP3)

发表机构：MIT、清华大学、上海交通大学
时间：2023 年 12 月
论文链接：CoRL 2025

背景与挑战

2D 图像缺乏深度信息，导致机器人难以理解空间关系，且对相机视角变化敏感。如何让策略模型具备 3D 空间推理能力？

核心方案与创新

核心创新：将 3D 点云表示与扩散策略结合。

技术实现：

• 输入：稀疏采样的单视角点云（非密集点云，计算高效）。
• 编码器：轻量级 Point Transformer 提取 3D 特征。
• 动作生成：扩散模型以 3D 表示为条件，迭代去噪生成动作序列。

与 2D 方法的差异：

• 2D CNN/ViT：只能隐式推断深度，易受视角、光照影响。
• DP3：显式建模 3D 几何，泛化到新视角、新物体摆放。

设计直觉与有效性

直觉：人类看到桌上的杯子时，大脑自动构建 3D 心理模型——即使换个角度看，仍知道杯子在哪、如何抓取。DP3 让机器人也拥有这种 3D'心智地图'。

为什么有效：

• 几何不变性：3D 点云表示对旋转、平移具有天然不变性。
• 遮挡鲁棒：稀疏点云仍保留关键几何信息，不像 2D 图像完全丢失被遮挡部分。

应用价值

• 学术价值：证明 3D 表示对机器人策略的关键性，影响后续 SpatialVLA 等工作。
• 工业价值：适用于仓储拣选、装配等需要精准空间定位的场景。

5. Octo: An Open-Source Generalist Robot Policy

发表机构：UC Berkeley、CMU、Google DeepMind
时间：2024 年 1 月
论文链接：Octo Models

背景与挑战

现有 VLA 模型往往针对特定机器人硬件设计，迁移到新传感器配置时需要重新训练。如何设计一个模块化、易于微调的泛化机器人策略？

核心方案与创新

核心设计：Transformer-based 扩散策略 + 模块化注意力机制。

架构特点：

• 灵活输入：支持语言指令或目标图像、观察历史、多相机。
• 扩散解码：生成连续动作分布（而非离散化）。
• 模块化微调：针对新传感器/动作空间，只需调整对应模块。

两个版本：

• Octo-Small：27M 参数，快速推理。
• Octo-Base：93M 参数，更强性能。

设计直觉与有效性

直觉：像搭积木一样构建机器人策略——视觉模块、语言模块、动作模块可以独立替换或升级，而不影响整体框架。

为什么有效：

• 模块化注意力：不同模态通过独立注意力头处理，再融合。
• 高效微调：新机器人只需微调 action decoder 和部分 transformer 层，无需从头训练。

应用价值

• 学术价值：提供灵活的研究平台，降低实验成本。
• 工程价值：模块化设计成为后续 VLA 架构的设计参考。

二、前沿突破：五篇高热度论文

这些论文代表了 2024-2026 年 VLA 领域的最新突破，引领未来发展方向。

6. NVIDIA Isaac GR00T N1: Open Foundation Model for Humanoid Robots

发表机构：NVIDIA
时间：2025 年 3 月
论文链接：NVIDIA Research

背景与挑战

人形机器人需要全身协调控制，传统 VLA 难以处理如此高维的动作空间，且推理速度不足以支持实时控制。如何构建快速、灵巧、全身控制的人形机器人基础模型？

核心方案与创新

核心架构：双系统设计（System 1 + System 2）。

System 2（慢思考）：

• 基于 NVIDIA-Eagle + SmolLM-1.7B 的 VLM。
• 处理视觉和语言，生成高层规划（latent cognitive representations）。
• 理解'整理房间'这类抽象任务，分解为子目标。

System 1（快反应）：

• Diffusion Transformer 动作模型。
• 接收 System 2 的 latent vector，生成高频连续控制指令。
• 控制上半身所有关节（肩膀、手肘、手腕、手指）。

设计直觉与有效性

直觉：人类行为也是'双系统'——System 2 负责思考'我要做什么'，System 1 负责执行'手怎么动'。GR00T N1 模仿这种认知架构。

为什么有效：

• 解耦思考与执行：慢速 VLM 专注高层推理，快速 diffusion 专注低层控制，各司其职。
• 实时性：System 1 以 7Hz 生成动作块，配合底层控制器实现平滑执行。

应用价值

• 工业价值：应对全球劳动力短缺，适用于物料搬运、包装、检查。
• 开源影响：开放权重加速全球人形机器人研发。

7. VITRA: Scalable VLA Pretraining with Human Videos

发表机构：微软亚洲研究院
时间：2026 年 1 月
论文链接：Microsoft Research

背景与挑战

机器人训练数据稀缺且昂贵，而互联网上有海量人类操作视频。如何将非结构化的人类视频转化为机器人可用的训练数据？

核心方案与创新

核心方法：自动化重建管道。

步骤：

1. 3D 手部运动重建：从人类视频中提取第一视角手部轨迹。
2. VLA 格式转换：将人手动作映射到与机器人数据一致的结构化格式。
3. 预训练 VLA：在大规模人类视频上预训练（100 万 +episodes）。
4. 少样本微调：仅用 1000+ 机器人遥操数据即可迁移到真实任务。

设计直觉与有效性

直觉：人类视频就像'教科书'——虽然手和机械手构造不同，但'抓杯子把手'、'倒水'这些操作逻辑是通用的。VITRA 让机器人通过观看人类视频学习这些逻辑。

为什么有效：

• 零样本预测：预训练模型在未见人手动作上展现更强预测能力。
• 微调效率：仅 1000 条机器人数据，成功率从 30-40% 提升至 70%+。

应用价值

• 学术价值：开创 VLA 预训练新范式，证明人类视频的巨大潜力。
• 商业价值：大幅降低机器人训练成本，加速产品化进程。

8. Physical Intelligence π0.5: VLA with Open-World Generalization

发表机构：Physical Intelligence
时间：2025 年 4 月
论文链接：Physical Intelligence Blog

背景与挑战

现有 VLA 模型在训练环境内表现优异，但面对完全陌生的新家庭/新场景时失效。如何让机器人具备真正的'开放世界泛化能力'？

核心方案与创新

核心策略：异构数据联合训练（Co-training on Heterogeneous Data）。

数据来源：

1. 多样环境：100+ 不同家庭/办公室环境的移动操作数据。
2. 多模态网络数据：问答、图像描述、物体检测。
3. 多 embodiment 数据：单臂机器人、无移动底座机器人的数据。
4. 语言指导演示：人类通过自然语言逐步指导机器人完成任务。

架构设计：

• 基于π0 VLA（5B 参数 VLM + action expert）。
• 支持高层语义推理和低层运动控制。
• Chain-of-Thought 式推理：模型先输出高层文本动作，再生成低层连续动作。

设计直觉与有效性

直觉：就像人类进入陌生房间时，会调用已有的'整理经验'，而不需要在每个房间都学一遍。π0.5 通过在多样环境训练，学到任务的本质而非特定环境的 memorization。

为什么有效：

• 语义理解：网络数据提供'哪些物体该放哪'的常识。
• 任务结构：语言指导演示教会模型任务的高层结构。

应用价值

• 学术价值：首次系统性证明 VLA 的开放世界泛化能力。
• 产品价值：支持'即买即用'的家庭服务机器人，无需针对每个家庭定制训练。

9. CoA-VLA: Chain-of-Affordance for Better Reasoning

发表机构：ICCV 2025
时间：2025 年
论文链接：ICCV 2025 Paper

背景与挑战

VLA 模型虽能执行语言指令，但缺乏可供性推理（affordance reasoning）——不理解'哪里可以放物体'、'如何避开障碍'。

核心方案与创新

核心创新：Chain-of-Affordance（CoA）框架。

设计思想：

1. 语义识别：从自由文本指令中解析物体名称。
2. 空间定位：预测物体的 2D 位置（grounding）。
3. 可供性推理：推断无碰撞路径、可放置区域。
4. 双模态注入：将可供性知识转化为视觉可供性和文本可供性，通过 vision-language co-injection 模块注入策略网络。

设计直觉与有效性

直觉：人类执行'把杯子放桌上'时，会自动排除'边缘易掉落'、'已有物体占据'的位置，选择'平坦、空闲'的区域。CoA-VLA 让机器人也进行这种推理。

为什么有效：

• 精确性：空间 grounding 提高定位准确度。
• 鲁棒性：碰撞检测避免失败操作。

应用价值

• 安全价值：降低机器人碰撞风险，适用于人机协作场景。
• 工业价值：提高抓取成功率，减少生产线故障。

10. WorldVLA: Autoregressive Action-World Model

发表机构：清华大学、上海交通大学
时间：2025 年 6 月
论文链接：Literature Review

背景与挑战

传统 VLA 只预测动作，不理解'物理规律'——不知道'推物体会移动'、'倒水杯子会满'。如何让 VLA 具备物理世界建模能力？

核心方案与创新

核心架构：统一动作模型和世界模型。

两个组件：

1. World Model（世界模型）：预测未来图像（conditioned on 当前观察 + 动作），学习环境物理规律。
2. Action Model（动作模型）：生成动作（conditioned on 视觉观察 + 语言指令），利用世界模型的物理理解辅助视觉理解。

训练策略：

• 联合优化：同时训练视频预测和动作预测。
• 自回归框架：动作和图像 token 交错生成。

设计直觉与有效性

直觉：人类学习新技能时，会在脑海中'预演'——想象'如果我这么做，会发生什么'。WorldVLA 让机器人也拥有这种'心理模拟'能力。

为什么有效：

• 物理理解增强：世界模型提供环境动力学知识，动作模型生成更合理的动作。
• 双向促进：世界模型→动作模型提升抓取成功率；动作模型→世界模型降低 FVD 指标。

应用价值

• 学术价值：将 world model 引入 VLA，开辟新研究方向。
• 仿真价值：世界模型可用于策略训练的'梦境演练'。

总结与展望

技术演进脉络

• 第一代（RT-1）：从机器人数据学习，任务特定。
• 第二代（RT-2, RT-X）：融合互联网数据，跨 embodiment 泛化。
• 第三代（OpenVLA, Octo）：开源基础模型，模块化设计。
• 第四代（GR00T, π0.5）：双系统架构，开放世界泛化。
• 未来方向（WorldVLA, CoA-VLA）：物理推理、可供性理解。

核心挑战

1. 数据问题：真实机器人数据昂贵（VITRA 用人类视频缓解）。
2. Sim-to-Real Gap：仿真数据难以完全迁移（GR00T 混合真实 + 仿真数据）。
3. 实时性：高维动作空间推理速度慢（GR00T 双系统、WorldVLA action chunking）。
4. 安全性：开放环境中的碰撞风险（CoA-VLA 可供性推理）。
5. 长期规划：复杂任务需要多步推理（π0.5 的 chain-of-thought）。

未来方向

• 更大规模预训练：利用全网视频（人类、动物、仿真）。
• 自主学习：从失败经验中改进，减少人类监督。
• 多模态感知：融合触觉（VTLA）、听觉（VLAS）。
• 可解释性：理解 VLA 的推理过程，提高可信度。
• 边缘部署：压缩模型至消费级硬件（4-bit 量化）。

VLA 模型正将机器人从'工具'转变为'智能体'。从 Google DeepMind 的 RT-2 奠基，到 NVIDIA GR00T N1 的人形机器人突破，再到微软 VITRA 的预训练新范式——这场革命才刚刚开始。当机器人能像人类一样理解世界、推理任务、执行操作时，真正的通用机器人助手将不再是科幻。这 10 篇论文，正是通向未来的路标。