OpenVLA 架构与动作离散化实现

这里有个很具体的坑：BridgeData V2 原始数据里有不少全零动作转换，模型很容易学成'反正输出全零也不太错'。OpenVLA 的处理方式是过滤掉每个演示的第一个转换，先把这个偏置压下去；RT-2-X 则是评估时绕到第二高概率动作上。两个方案都不算优雅，但都有效。

和 Diffusion Policy 对比

单一指令任务里，Diffusion Policy 的轨迹通常更平滑，也更细腻。但一旦任务变成多对象、多步骤，还要靠语言去调节行为，预训练过的大模型策略就更占便宜。OpenVLA 在这种场景里会更稳，因为它不是只学动作，还学了语言和视觉的联合表征。

参数高效微调

LoRA 这部分的结果比较明确。

只调最后一层，或者把视觉编码器冻住，效果都不太行。Sandwich fine-tuning 的显存占用更低，但性能还是不如 LoRA。最后综合下来，LoRA 是最均衡的：只需要微调大约 1.4% 的参数，就能接近完整微调的效果。默认 rank r = 32 比较合适，单张 A100 上 10 到 15 小时就能做完。

Prismatic VLM 的设计取舍

OpenVLA 之所以能这样做，很大程度上是因为 Prismatic VLM 本身就把设计空间摸得比较细。相关工作《Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models》里，作者主要看了四件事：训练流程、图像处理、语言模型和扩展属性。

Prismatic 的基本结构和常规 VLM 差不多：视觉骨干提 patch 特征，投影器映射到 LM 的嵌入空间，最后由 LLM 生成输出。训练数据用了 LLaVA v1.5 混合集，差不多 100 万条图文对和纯文本样本。

几个结论挺实用。

• 两阶段训练并不是必须的。单阶段训练在性能基本不掉的情况下，能省掉 20% 到 25% 的计算成本。
• 特征融合确实有收益。把不同视觉骨干的表示拼在一起，比只用单一 backbone 更稳，SigLIP + DINOv2 是个比较强的组合。
• 图像处理要看 backbone。CLIP 更吃 naive resize；SigLIP 用 letterbox padding 也差不多。高分辨率，比如 336px 或 384px，提升明显，但算力开销也会跟着上去。
• 语言模型这块，基础模型和指令微调模型的差距没想象中大。反倒是后者更容易输出啰嗦内容，甚至开始幻觉。
• 多跑一轮训练、增加数据多样性，通常都能继续涨点性能，不是所有提升都得靠改结构。

源码怎么组织

OpenVLA 的代码库是标准的 PyTorch 风格，模块拆得比较清楚，既能单 GPU 微调，也能上多节点。

主要目录就两个。

• vla-scripts/：训练、微调、部署脚本。
• prismatic/：模型加载、训练流程和数据预处理工具。

动作分词器

动作离散化的实现放在 prismatic/vla/action_tokenizer.py，核心类是 ActionTokenizer。它负责在连续动作和离散 token 之间来回转换。

初始化时，会先创建均匀分布的区间，再计算每个区间的中心值：

def __init__(self, tokenizer: PreTrainedTokenizerBase, bins: int = 256, min_action: float = -1, max_action: float = 1) -> None:
    self.tokenizer, self.n_bins, self.min_action, self.max_action = tokenizer, bins, min_action, max_action
    # 创建均匀分布的区间
    self.bins = np.linspace(min_action, max_action, self.n_bins)
    self.bin_centers = (self.bins[:-1] + self.bins[1:]) / 2.0
    # 假设总是覆盖词汇表的最后 n_bins 个 token
    self.action_token_begin_idx = int(self.tokenizer.vocab_size - (self.n_bins + 1))

调用时，先裁剪动作值，再把它离散到词表末尾那一段 token：

def __call__(self, action: np.ndarray) -> Union[str, List[str]]:
    action = np.clip(action, a_min=float(self.min_action), a_max=float(self.max_action))
    discretized_action = np.digitize(action, self.bins)
    if len(discretized_action.shape) == 1:
        return self.tokenizer.decode(list(self.tokenizer.vocab_size - discretized_action))
    else:
        return self.tokenizer.batch_decode((self.tokenizer.vocab_size - discretized_action).tolist())

反过来解码时，再把 token ID 映射回连续动作值：

def decode_token_ids_to_actions(self, action_token_ids: np.ndarray) -> np.ndarray:
    # 映射到新索引范围
    discretized_actions = self.tokenizer.vocab_size - action_token_ids
    # 限制在有效区间
    discretized_actions = np.clip(discretized_actions - 1, a_min=0, a_max=self.bin_centers.shape[0] - 1)
    return self.bin_centers[discretized_actions]

这套实现的好处是，动作预测可以直接塞进标准 LLM 的训练和推理流程里，不需要额外设计一套专门的控制头。简单，但挺顺手。