OpenVLA 详解：基于 Prismatic VLM 与离散化动作预测的通用机器人策略

具体做法是参考 Brohan 等人的方法，将机器人的每个动作维度分别离散化为 256 个区间中的一个。通过这种离散化方法，作者为一个 N 维的机器人动作获得了 N 个离散整数，范围为 [0...255]。

由于 Llama 分词器仅为微调时新引入的 token 预留了 100 个'特殊 token'，远不足以满足动作离散化所需的 256 个 token，作者选择简化方案，简单地用动作 token 覆盖 Llama 分词器词表中使用频率最低的 256 个 token（即最后 256 个 token）。

一旦动作被处理为 token 序列，OpenVLA 就采用标准的下一个 token 预测目标进行训练，仅对预测的动作 token 计算交叉熵损失。对于每个动作维度，设置区间宽度，使其在训练数据中动作的第 1st 和第 99th 分位数之间均匀划分。使用分位数而非最小 - 最大边界，使得能够忽略数据中的异常动作，否则这些异常值可能会极大地扩展离散化区间，降低动作离散化的有效精度。

1.2.3 训练数据

OpenVLA 使用 Open X-Embodiment 数据集（OpenX）作为基础。完整的 OpenX 数据集由超过 70 个单独的机器人数据集组成，包含超过 200 万条机器人轨迹。

为了使在这些数据上进行训练变得可行，作者对原始数据集应用了多个步骤的数据整理：

1. 输入输出空间一致：限制训练数据集仅包含至少有一个第三人称摄像机的操作数据集，并使用单臂末端执行器控制。
2. 平衡的 Embodiments：利用 Octo 的数据混合权重来处理所有通过第一轮筛选的数据集，降低多样性较低的数据集权重，增大任务和场景多样性比较大的数据集权重。

此外，作者尝试整合 DROID 数据集，但在实践中发现 DROID 上的动作 token 准确率在整个训练过程中保持较低，故为了不影响最终模型的质量，作者在最后三分之一的训练中将 DROID 从数据混合中移除。

1.2.4 训练和推理基础设施

最终的 OpenVLA 模型在一个由 64 个 A100 GPU 组成的集群上训练了 14 天，总计 21,500 A100 小时，批量大小为 2048。

为了方便起见，作者实现了一个远程 VLA 推理服务器，允许将动作预测实时远程流式传输到机器人上。在推理过程中，OpenVLA 在加载为 bfloat16 精度（未量化）的情况下需要 15GB 的 GPU 内存，并在一块 NVIDIA RTX 4090 GPU 上以大约 6Hz 的速度运行。通过量化可以进一步减少内存占用而不影响性能。

1.3 实验对比与微调策略

1.3.1 与 RT-2 的横向对比

为了评估 OpenVLA 的'开箱即用'性能，作者在 BridgeData V2 评估的 WidowX 机器人和 RT-1/RT-2 评估的移动操作机器人（Google 机器人）平台上进行了测试。

总体而言，RT-1-X 和 Octo 在评估任务中遇到了困难，通常无法在五次试验中取得一次成功。另一方面，RT-2-X 和 OpenVLA 表现出强劲的性能。结果显示，OpenVLA 在大多数任务中表现最强，并且在通用策略中具有最高的总体成功率。尽管 OpenVLA 的规模小了一个数量级（7B 对 55B 参数），但两者都表现出明显更强的行为稳定性。

不过，RT-2-X 在语义泛化任务中取得了更高的性能，这与其使用了更大规模的互联网预训练数据有关。考虑到这是一个无法重新训练的专有模型，OpenVLA 通过简单地查询模型的第二最可能动作来缓解 BridgeData V2 评估中全零动作的问题。

1.3.2 与 Diffusion Policy 的对比

作者还将 OpenVLA 与 Diffusion Policy 及其匹配版本进行比较，同时评估了在目标数据集上微调的 Octo 和 OpenVLA。

在单一指令任务中，Diffusion Policy 显示出更平滑和精确的轨迹。但在涉及场景中多个对象并需要语言调节的更为多样化的微调任务中，预训练的通用策略（如 OpenVLA）表现更佳。OpenVLA(scratch) 较低的性能也证明了大规模机器人预训练的好处。

1.3.3 参数高效微调：LoRA

一般的 VLM 训练方法包括全量微调、仅微调最后一层、冻结视觉、Sandwich Fine-tuning 以及 LoRA 微调。

实验发现：

• 仅微调网络的最后一层或冻结视觉编码器导致性能不佳。
• 'Sandwich fine-tuning'实现了更好的性能，且消耗更少的 GPU 内存。
• LoRA 在性能和训练内存消耗之间实现了最佳平衡，优于'sandwich fine-tuning'，并且在仅微调 1.4% 参数的情况下匹配了完整微调的性能。

使用 LoRA，可以在单个 A100 GPU 上在 10-15 小时内微调 OpenVLA 到新任务上，与完整微调相比，计算减少了 8 倍。

第二部分 Prismatic VLM 背景

2.1 Prismatic VLM 概述

Prismatic VLMs 工作探索了开发 VLM 的四个关键设计轴：优化过程、图像处理和预训练视觉表示、语言模型，以及训练时间和数据的扩展属性。这项工作发布了一个用于高效训练 VLM 的开源、灵活代码库。

作者编制了一个标准化的评估套件，包括视觉问答、目标定位以及细粒度空间推理等基准。他们识别出了一些洞察，例如多阶段训练程序可以在不影响性能的情况下消除，从而减少 20-25% 的计算成本。融合来自不同骨干的特征的视觉骨干（如 CLIP 和 DINOv2）在各方面都能导致更高性能的 VLM。

2.2 关键设计考量

2.2.1 多阶段训练

许多 VLM 采用两阶段的训练流程：对齐阶段和微调阶段。实验发现情况并非如此，微调视觉骨干显著降低了性能，尤其是在需要细粒度空间推理的任务上。

2.2.2 图像处理与视觉表示

• 视觉表示选择：使用视觉 - 语言对比目标训练的骨干网络（如 CLIP, SigLIP）的性能显著优于其他选择。
• 图像处理方案：对于 CLIP 而言，'naive resize'方案表现最佳。对于 SigLIP，'naive resize'和'letterbox padding'的表现相似。总体而言，实验结果更偏向于'naive resizing'。
• 分辨率缩放：缩放到 336px 或 384px 带来了显著的改进，代价是计算复杂度的显著提升。
• 视觉表示结合：融合 DINOv2 和 SigLIP 特征在整体上提供了显著的提升，几乎没有增加参数。

2.2.3 语言模型选择

指令微调语言模型在性能上并没有比基础语言模型带来统计上显著的改善，但在定性性能上有所不同。指令微调语言模型导致的视觉语言模型更加冗长，易出现幻觉。基础语言模型（如 Llama-2）的性能与指令调优语言模型相当或更好。

2.2.4 扩展属性

单轮训练存在严重欠拟合的证据，随着训练到两轮，性能稳步提升。增加多样化的数据和延长训练时间显著提升性能。

第三部分 OpenVLA 源码剖析

整个代码仓库主要包含 LICENSE、Makefile、pyproject.toml 以及核心的 vla-scripts 和 prismatic 包。

3.1 ActionTokenizer 类解析

ActionTokenizer 类的主要功能是将连续的机器人动作离散化为多个维度上的 N 个区间，并将其映射到最少使用的 token 上。

初始化与离散化

构造函数接受一个基础的 LLM/VLM tokenizer、区间数量、最小动作值和最大动作值作为参数。默认情况下，假设使用的是类似于 LlamaTokenizer 的 BPE 风格 tokenizer，其中最少使用的 token 出现在词汇表的末尾。

class ActionTokenizer:
    def __init__(
        self,
        tokenizer: PreTrainedTokenizerBase,
        bins: int = 256,
        min_action: int = -1,
        max_action: int = 1
    ) -> None:
        self.tokenizer, self.n_bins, self.min_action, self.max_action = \
            tokenizer, bins, min_action, max_action
        # Create Uniform Bins + Compute Bin Centers
        self.bins = np.linspace(min_action, max_action, self.n_bins)
        self.bin_centers = (self.bins[:-1] + self.bins[1:]) / 2.0
        # Set "action_token_begin_idx"
        self.action_token_begin_idx: int = int(
            self.tokenizer.vocab_size - (self.n_bins + 1)
        )

该方法创建均匀分布的区间，并计算区间中心。action_token_begin_idx 基于 vocab_size 计算，假设总是覆盖词汇表的最后 n_bins 个 token。

调用与解码

__call__ 方法用于将动作裁剪并离散化为词汇表中最后的 n_bins 个 token。

def __call__(self, action: np.ndarray) -> Union[str, List[str]]:
    """Clip & bin actions to *the last `n_bins` tokens* of the vocabulary."""
    action = np.clip(action, a_min=float(self.min_action), a_max=float(self.max_action))
    discretized_action = np.digitize(action, self.bins)
    if len(discretized_action.shape) == 1:
        return self.tokenizer.decode(list(self.tokenizer.vocab_size - discretized_action))
    else:
        return self.tokenizer.batch_decode((self.tokenizer.vocab_size - discretized_action).tolist())

decode_token_ids_to_actions 方法则将离散的动作 token ID 转换回连续的动作值。

def decode_token_ids_to_actions(self, action_token_ids: np.ndarray) -> np.ndarray:
    discretized_actions = self.tokenizer.vocab_size - action_token_ids
    discretized_actions = np.clip(discretized_actions - 1, a_min=0, a_max=self.bin_centers.shape[0] - 1)
    return self.bin_centers[discretized_actions]

这种方法有效地将离散的 token ID 转换回了连续的动作值，便于进一步的处理和使用。