1. 引言：从 VLA 时代到 VAM 时代的范式转变
1.1 VLA 的辉煌与瓶颈
自 2022 年 ChatGPT 问世以来，具身智能的控制方法逐步转向以视觉 - 语言 - 动作模型（Vision-Language-Action, VLA）为主流。从 PI 的 π0→π0.5→π*0.6，到 Figure 的 Helix01→02，再到 Google 的 Gemini Robotics 和英伟达的 GR00T，VLA 模型充分利用了 VLM 预训练后的视觉理解能力，在此基础上增加动作头，输出机器人控制指令。这条路线在语义层面的泛化上取得了显著进展——机器人可以理解'把可乐递给泰勒·斯威夫特'这样的指令，因为 VLM 预训练阶段已经学会了'可乐'和'泰勒·斯威夫特'的视觉概念。
然而，VLA 的局限性也同样明显。这些模型本质上是在静态图像 - 文本数据集上预训练的，它们继承的是语义先验，而非物理先验。VLM 天然可以理解图像、场景和语言，但并不完全理解世界运动的规律，也不能直接输出机器人动作的控制指令。因此，VLA 通常需要从大量机器人演示数据中学习物理世界的运动规律——而这个能力学习起来极其困难，现有数据规模远远不够。
当面对训练数据中从未出现过的动作技能时——比如'解开鞋带'或'敲木琴'——VLA 往往束手无策。实验数据表明，预训练的 VLA 在遇到未见任务时，倾向于执行'抓取 - 放置'这一训练数据中占主导地位的默认动作，而非真正理解新任务的语义并生成对应的运动轨迹。换句话说，大多数机器人今天学到的不是'世界是如何运作的'，而是'在这台机器上该怎么动'。
1.2 VAM：视频动作模型的崛起
2025 年底到 2026 年初，一个新的方向开始萌芽——用视频生成模型来进行机器人控制。这就是视频动作模型 VAM（Video Action Model），英伟达将其称为世界动作模型 WAM（World Action Model），强调视频生成模型作为世界模型的角色。
为什么这条路线会成为新趋势？核心原因有两个：
第一，VAM 符合'预训练的第二种范式'——next physical state prediction。正如 LLM 能通过在文字上的 scaling 学习到世界的文字知识一样，VAM 中的视频生成模型也能够通过视频上的 scaling 学习到世界的物理知识，成为真正的世界模型。
第二，视频生成模型本身变得越来越好了，能更好地生成符合物理规律的视频。这是 VAM 得以发展的技术基础。
VAM 与 VLA 的核心区别在于：VLA 的训练核心是让模型学习'看到某个场景时应该执行什么动作'，这需要同时学习物理规律和动作映射；而 VAM 中对世界的理解已经在视频生成模型的预训练中获得，它只需要训练'两帧变化所对应的动作是什么'。因此，VAM 的训练要求相比 VLA 略低，需要的机器人动作数据量也大大降低。
在这个方向上，我们已经看到了多个重要成果：哥伦比亚大学和丰田研究院的 Video Policy（2025.8）、MIT/UC Berkeley/Harvard 的 LVP（2025.12）、mimic/ETH/微软的 mimic-video（2025.12）、1X 的 1XWM（2026.1）、斯坦福/英伟达的 Cosmos Policy（2026.1），以及本文的主角——英伟达 GEAR 实验室的 DreamZero（2026.2）。
1.3 DreamZero：VAM 方向的集大成者
在这个背景下，英伟达 GEAR 实验室提出了 DreamZero，一个拥有 140 亿参数的世界动作模型。不同于 VLA 直接从观测映射到动作，DreamZero 同时预测未来的视频帧和对应的动作序列，通过'想象未来画面'来引导动作生成。这种设计让模型从互联网规模的视频数据中继承了丰富的时空物理先验，从而在未见任务和未见环境上实现了超过传统 VLA 两倍以上的泛化性能。
DreamZero 的代码和模型权重已在 GitHub 上开源，论文可获取。实验结果的视频演示可参考相关评估画廊。
2. 核心问题：为什么 VLA 在新任务上失效
要理解 DreamZero 的设计动机，需要先搞清楚 VLA 在泛化上的根本缺陷。
VLA 的预训练基础是视觉 - 语言模型（VLM），而 VLM 的训练数据是静态的图像 - 文本对。这意味着 VLM 学到的是空间语义——'这是一个杯子'、'杯子在桌子上'——但没有学到时间动态——'推杯子会让它滑动'、'倒水时液面会上升'。当 VLA 在机器人数据上微调时，它学到的是特定任务的动作模式，而非通用的物理规律。
这导致了两个层面的泛化失败。第一，环境泛化失败：当桌面高度、光照条件、背景物体发生变化时，VLA 的动作质量显著下降，因为它记忆的是特定视觉场景下的动作轨迹，而非场景无关的物理操作逻辑。第二，任务泛化失败：当遇到训练数据中不存在的动作技能时，VLA 完全无法应对。实验数据显示，在 AgiBot 预训练评测中，从零训练的 VLA 在未见任务上的任务进度几乎为零；即便是预训练的 VLA，也仅能达到 27.4% 的平均任务进度，且其有限的进展主要来自于无论指令如何都执行'抓取 - 放置'的默认行为。
从数学角度看，VLA 的训练目标可以表述为：给定视觉观测 $\mathcal{V}_t$ 和语言指令 $c$，直接学习条件动作分布 $\pi(a_t | \mathcal{V}_t, c)$。这个目标的问题在于，动作 $a_t$ 和观测 $\mathcal{V}_t$ 之间的映射是高度依赖于具体任务和环境的——同样的视觉场景，不同的任务需要完全不同的动作。VLA 试图用一个单一的映射函数覆盖所有可能的任务 - 环境组合，这在数据覆盖不足时必然失败。
DreamZero 提出的解决方案是引入一个中间表征——未来视频。模型不再直接从观测映射到动作，而是先'想象'未来会发生什么（视频预测），再从想象的未来中提取动作（逆动力学）。这个分解可以写成：
$$\pi(a_t | \mathcal{V}t, c) = \int p(a_t | \mathcal{V}t, \hat{\mathcal{V}}{t+1:t+H}) \cdot p(\hat{\mathcal{V}}{t+1:t+H} | \mathcal{V}_t, c) , d\hat{\mathcal{V}}$$
其中 $\hat{\mathcal{V}}{t+1:t+H}$ 是模型预测的未来视频帧。视频预测部分 $p(\hat{\mathcal{V}}{t+1:t+H} | \mathcal{V}_t, c)$ 可以从互联网规模的视频数据中学习通用的物理动态，而逆动力学部分 $p(a_t | \mathcal{V}t, \hat{\mathcal{V}}{t+1:t+H})$ 只需要学习'如何实现已知的视觉变化'，这是一个相对简单的问题。这种分解将动作学习从密集的状态 - 动作模仿转变为逆动力学——将电机指令与预测的视觉未来对齐。
3. 模型架构：自回归扩散 Transformer 的联合预测
DreamZero 的骨干网络是一个 140 亿参数的视频扩散模型（基于 Wan 2.1），在互联网规模的视频数据上预训练。在此基础上，DreamZero 引入了最少量的额外参数——状态编码器、动作编码器和动作解码器——将其改造为一个能够联合预测视频和动作的世界动作模型。
3.1 整体架构
模型接收三类输入：视觉上下文（通过 VAE 编码为潜变量）、语言指令（通过 T5 文本编码器）、以及机器人的本体感知状态（关节位置等，通过状态编码器）。这些输入被送入一个基于 Flow Matching 的因果 DiT（Diffusion Transformer）主干网络，由其联合预测未来的视频帧潜变量和动作序列，最终通过各自独立的解码器输出结果。
在代码实现中，这个架构体现为 VLA 类的层次结构。VLA 由一个 backbone（骨干网络）和一个 action_head（动作头）组成，动作头内部包含了完整的视频扩散模型：
# 文件：groot/vla/model/dreamzero/base_vla.py
class VLA(PreTrainedModel):
"""
骨干网络输出 'backbone_features'，形状为 (batch_size, n, hidden_size)
动作头输出 'action_pred'，形状为 (batch_size, time, action_dim)
"""
def __init__(self, config: VLAConfig):
super().__init__(config)
self.backbone = instantiate(config.backbone_cfg)
self.action_head = instantiate(config.action_head_cfg)
self.action_horizon = config.action_horizon
self.action_dim = config.action_dim
def lazy_joint_video_action_causal(self, inputs, latent_video=None):
"""自回归因果推理：联合生成视频和动作"""
backbone_inputs, action_inputs = self.prepare_input(inputs)
backbone_outputs = self.backbone(backbone_inputs)
action_head_outputs = self.action_head.lazy_joint_video_action(
backbone_outputs, action_inputs, latent_video=latent_video
)
return action_head_outputs
这段代码展示了 DreamZero 的核心推理路径：输入经过骨干网络提取特征后，送入动作头进行联合视频 - 动作生成。lazy_joint_video_action_causal 方法是自回归推理的入口，它支持将上一步的真实观测（latent_video）回灌到模型中，实现闭环控制。
3.2 为什么选择自回归架构
DreamZero 在架构设计上做了一个关键选择：采用自回归（Autoregressive）而非双向（Bidirectional）架构。这个决策基于三个考量。
第一，推理效率。自回归架构天然支持 KV Cache（键值缓存）技术，已经计算过的历史帧不需要重复处理，只需缓存其键值对即可。这对于一个 140 亿参数的模型来说至关重要——没有 KV Cache，每次推理都需要重新处理整个历史序列，延迟将完全不可接受。
第二，模态对齐。双向扩散模型通常需要处理固定长度的序列，这往往需要对视频进行下采样，改变原始帧率。而自回归架构可以保持原始帧率不变，确保视频帧和机器人动作之间的精确时间对齐。
第三，闭环修正。在自回归架构下，模型每生成一个动作块（Action Chunk）并执行后，可以将真实拍摄到的观测画面替换掉之前'想象'的画面，更新到 KV Cache 中。这种机制有效防止了纯视频生成中常见的误差累积问题。
在代码中，KV Cache 的创建和管理逻辑如下：
# 文件：groot/vla/model/dreamzero/action_head/wan_flow_matching_action_tf_efficient.py
def _create_kv_caches(self, batch_size, dtype, device, frame_seqlen):
"""为 Wan 模型的每一层初始化 KV Cache"""
kv_cache1 = []
kv_cache_neg = []
for _ in range(self.model.num_layers):
kv_cache1.append(
torch.zeros([2, batch_size, 0, 40, 128], dtype=dtype, device=device),
)
kv_cache_neg.append(
torch.zeros([2, batch_size, 0, 40, 128], dtype=dtype, device=device),
)
return kv_cache1, kv_cache_neg
这里的 [2, batch_size, 0, 40, 128] 表示：2 代表 Key 和 Value 两个张量，40 是注意力头数，128 是每个头的维度，序列长度初始为 0，随着自回归生成逐步增长。kv_cache_neg 用于无分类器引导（Classifier-Free Guidance, CFG）中的无条件分支。
3.3 训练目标：Flow Matching 联合去噪
DreamZero 采用 Flow Matching 作为训练目标，这是一种比传统 DDPM 更高效的生成方法。核心思想是：将数据分布和噪声分布之间的变换建模为一条直线路径，模型学习预测这条路径上的速度场。
具体来说，给定一个 chunk 索引 $k$ 和去噪时间步 $t_k \in [0, 1]$，加噪过程定义为：
$$\mathbf{z}^k_{t_k} = t_k \mathbf{z}^k_1 + (1 - t_k) \mathbf{z}^k_0, \quad \mathbf{a}^k_{t_k} = t_k \mathbf{a}^k_1 + (1 - t_k) \mathbf{a}^k_0$$
其中 $\mathbf{z}^k_0 \sim \mathcal{N}(0, I)$ 和 $\mathbf{a}^k_0 \sim \mathcal{N}(0, I)$ 是随机噪声，$\mathbf{z}^k_1$ 和 $\mathbf{a}^k_1$ 分别是干净的视频潜变量和归一化动作。训练目标是预测联合速度场：
$$\mathcal{L}(\theta) = \mathbb{E}\left[\frac{1}{K}\sum_{k=1}^{K} w(t_k) \left| \mathbf{u}\theta([\mathbf{z}^k{t_k}, \mathbf{a}^k_{t_k}]; \mathcal{C}_k, c, q_k, t_k) - \mathbf{v}^k \right|^2\right]$$
其中 $\mathcal{C}k = {(\mathbf{z}^j_1, \mathbf{a}^j_1)}{j=1}^{k-1}$ 是前面 chunk 的干净上下文（教师强制），$\mathbf{v}^k = [\mathbf{z}^k_1, \mathbf{a}^k_1] - [\mathbf{z}^k_0, \mathbf{a}^k_0]$ 是目标速度。
在代码中，Flow Matching 的调度器实现了加噪和去噪的核心逻辑：
# 文件：groot/vla/model/dreamzero/modules/flow_match_scheduler.py
class FlowMatchScheduler:
def __init__(self, num_inference_steps=100, shift=3.0, sigma_max=1.0, sigma_min=0.003/1.002):
self.shift = shift
self.sigma_max = sigma_max
self.sigma_min = sigma_min
self.set_timesteps(num_inference_steps)
def add_noise(self, original_samples, noise, timestep):
"""线性插值加噪：x_t = (1 - sigma) * x_clean + sigma * noise"""
sigma = self.sigmas[timestep_id]
sample = (1 - sigma) * original_samples + sigma * noise
return sample
def step(self, model_output, timestep, sample, to_final=False):
"""单步去噪：沿速度场方向前进"""
sigma = self.sigmas[timestep_id]
sigma_ = self.sigmas[timestep_id + 1]
if not to_final else target
prev_sample = sample + model_output * (sigma_ - sigma)
return prev_sample
def training_target(self, sample, noise, timestep):
"""训练目标：速度 = noise - sample"""
return noise - sample
这个调度器的 add_noise 方法实现了线性插值加噪，step 方法实现了沿预测速度场的单步去噪，training_target 返回的 noise - sample 就是 Flow Matching 中的目标速度场。shift 参数控制了噪声调度的偏移，使得模型在不同噪声水平上的训练更加均衡。
4. 从 5.7 秒到 150 毫秒：DreamZero 的实时推理优化
视频扩散模型的推理速度是将其应用于机器人控制的最大障碍。一个朴素实现的 DreamZero 在单 GPU 上生成一个动作块需要约 5.7 秒，而机器人闭环控制要求每个动作块的推理延迟低于 200 毫秒。研究团队通过模型层面、系统层面和实现层面的三重优化，将推理速度提升了 38 倍，最终实现了 7Hz 的实时闭环控制。这一优化过程涉及多个层次的技术创新，每一层都针对不同的性能瓶颈。
4.1 异步闭环执行
传统的同步执行模式下，机器人必须等待模型推理完成后才能执行动作，推理期间机器人处于静止状态。DreamZero 采用异步执行架构：机器人在执行当前动作块的同时，模型已经在后台基于最新观测计算下一个动作块。这种流水线设计将延迟约束从'推理必须在机器人动作之前完成'转变为'推理必须在当前动作块执行完毕之前完成'。在实验配置中，双臂操作机器人以 30Hz 控制频率执行 48 步的动作块（约 1.6 秒），因此推理延迟只需低于约 200 毫秒即可保证平滑控制。
4.2 DreamZero-Flash：解耦噪声调度
即便有了系统级优化，扩散步数仍然是延迟的主要瓶颈。然而，直接减少步数会导致动作质量下降——因为视频中残留的噪声会传播到动作预测中。DreamZero-Flash 通过解耦视频和动作的噪声调度来解决这个问题。
核心洞察在于：在推理时使用极少的去噪步数（比如 1 步），视频画面仍然模糊不清，但其中包含的空间结构信息已经足以指导动作生成。问题是，标准 DreamZero 在训练时让视频和动作共享同一个噪声时间步（均匀采样），这意味着模型只学过'视频和动作处于相同噪声水平'的情况。当推理时只用 1 步去噪，视频还很嘈杂而动作需要干净输出，就产生了训练 - 推理不匹配。
DreamZero-Flash 的解决方案是：在训练时，用 Beta 分布将视频的噪声时间步偏向高噪声区域（即视频大部分时间处于模糊状态），而动作的噪声时间步保持均匀采样。这样模型就学会了'从模糊的未来画面中提取精确动作'的能力。在代码中，这个解耦逻辑体现在训练前向传播的噪声采样部分：
# 文件：groot/vla/model/dreamzero/action_head/wan_flow_matching_action_tf_efficient.py
# ============ 视频噪声时间步采样 ============
if self.config.decouple_video_action_noise:
# 解耦模式：视频从 Beta 分布采样，偏向高噪声
video_noise_ratio = self.video_beta_dist.sample([noise.shape[0], noise.shape[1]])
timestep_id = ((1.0 - video_noise_ratio) * self.scheduler.num_train_timesteps).long()
timestep_id = torch.clamp(timestep_id, 0, self.scheduler.num_train_timesteps - 1)
# ============ 动作噪声时间步采样 ============
if self.config.decouple_video_action_noise:
# 解耦模式：动作独立采样，使用全范围均匀分布
timestep_action_id = torch.randint(0, self.scheduler.num_train_timesteps, (actions.shape[0], actions.shape[1]))
配置中的关键参数 video_noise_beta_alpha 默认为 3.0，对应 Beta(3,1) 分布，其均值约为 0.75，意味着视频在训练时 75% 的概率处于高噪声状态。论文中还测试了 Beta(7,1) 配置，将均值推到 0.875，进一步强化了模型从极度模糊画面中提取动作的能力。
在推理阶段，解耦同样生效——视频的去噪调度被重新缩放，使其最终停留在较高的噪声水平，而动作则完全去噪到干净状态：
# 推理时的解耦噪声调度
if self.config.decouple_inference_noise:
video_final_noise = self.config.video_inference_final_noise # 默认 0.8
sigma_max = sample_scheduler.sigmas[0].item()
# 将视频 sigma 从 [sigma_max, 0] 重映射到 [sigma_max, video_final_noise]
sample_scheduler.sigmas = (sample_scheduler.sigmas * (sigma_max - video_final_noise) / sigma_max + video_final_noise)
这段代码将视频的噪声调度从'完全去噪'改为'停留在 80% 噪声水平'，而动作调度保持不变。结果是：扩散步数从 4 步降到 1 步，推理时间从约 350 毫秒降到约 150 毫秒，动作质量几乎不受影响。
4.3 DiT 缓存与 CFG 并行化
除了 DreamZero-Flash，系统层面还有两个关键优化。
第一是 DiT 缓存。在扩散去噪的多个步骤之间，模型预测的速度场方向往往高度一致——前后两步的速度向量余弦相似度经常超过 0.95。DreamZero 利用这一特性，当检测到连续步骤的预测方向足够接近时，直接复用上一步的预测结果，跳过当前步的 DiT 前向计算。这个机制在代码中通过 should_run_model 方法实现：
# 文件：groot/vla/model/dreamzero/action_head/wan_flow_matching_action_tf_efficient.py
def should_run_model(self, index, current_timestep, prev_predictions):
# 前 2 步必须执行，建立历史记录
if len(prev_predictions) < 2:
return True
# 计算最近两步速度预测的余弦相似度
v_last = prev_predictions[-1][1].flatten(1).float()
v_prev = prev_predictions[-2][1].flatten(1).float()
sim = torch.nn.functional.cosine_similarity(v_last, v_prev, dim=1).mean()
# 相似度超过阈值时跳过计算
thresholds = [0.95, 0.93]
countdowns = [4, 2]
for threshold, countdown in zip(thresholds, countdowns):
if sim > threshold:
self.skip_countdown = countdown
return False
return True
当余弦相似度超过 0.95 时，模型会跳过接下来 4 步的计算；超过 0.93 时跳过 2 步。这将有效的 DiT 计算步数从 16 步降低到约 4 步，而对动作预测质量的影响微乎其微。
第二是 CFG 并行化。无分类器引导（Classifier-Free Guidance）需要对每个去噪步骤执行两次前向传播——一次有条件（使用文本指令），一次无条件（不使用文本指令），然后将两者的差异放大。DreamZero 将这两次前向传播分配到两个 GPU 上并行执行，通过 _exchange_predictions 方法在 GPU 之间交换预测结果：
def _exchange_predictions(self, predictions):
if self.ip_size == 1:
return predictions
# 两个 GPU 之间通过 P2P 通信交换预测结果
send_ops = [
dist.P2POp(op=dist.isend, tensor=pred, group_peer=(self.ip_rank + 1) % self.ip_size, group=self.ip_group)
for pred in my_predictions
]
recv_ops = [
dist.P2POp(op=dist.irecv, tensor=other_pred, group_peer=(self.ip_rank + 1) % self.ip_size, group=self.ip_group)
for other_pred in other_predictions
]
reqs = dist.batch_isend_irecv(send_ops + recv_ops)
for req in reqs:
req.wait()
这种设计将每步的延迟降低了 47%。结合 DiT 缓存，系统级优化在 H100 上实现了约 9 倍加速，在 GB200 上实现了约 16 倍加速。
5. 行业视角：Jim Fan 论'第二种预训练范式'
DreamZero 的发布在业界引发了广泛讨论。英伟达高级研究科学家 Jim Fan 在 X（原 Twitter）上发表了一篇长文，将 DreamZero 所代表的技术路线提升到了范式转移的高度。他的核心论点是：如果说'预测下一个词'是第一种预训练范式，那么'预测下一个物理状态'——即世界模型——就是第二种预训练范式。这一判断为理解 DreamZero 的历史定位提供了重要的行业视角。
