G3M：基于图生成建模的视频预训练机器人操作

这样无需手动标注物理参数。

难点 2：局部结构 vs 长距离依赖

提出 Hierarchical Graph：

• 局部节点
• 聚类形成全局 root 节点
• root-to-root fully connected
• leaf-to-root 双向连接

实现：

• 保留局部精细结构
• 同时建模全局空间关系

五、Graph-Image Interaction

Graph embedding 在空间域
Image embedding 在像素域

如何对齐？

论文提出：

• 为 graph 和 image 加 2D positional encoding
• 使用 cross-attention 建立空间 - 像素桥梁

核心公式：

Ẑh = CrossAttention(Zh + PEh, Zo + PEo) 

实现：

空间 - 像素语义对齐

六、使用 Diffusion 生成未来图

未来状态是多模态的。

因此采用：

• Diffusion Transformer (DiT)

预测：

p(G_t:t+F | Z_graph, Z_img, Z_text)

只生成：

• 顶点位置
• 边根据距离自动构建

这是一个非常优雅的设计。

七、Graph-Guided Policy

策略输入：

• 未来图序列
• 当前图像
• 机器人 proprioception

通过 Transformer 融合后输出动作。

本质：

先预测未来结构
再让策略学习如何到达该结构

八、实验结果

1️⃣ LIBERO 130 任务

• 仅用 20% action-labeled 数据
• 超越 ATM、UniPi 等方法
• 平均提升 >19%

2️⃣ 真实机器人实验

• 提升 >23%
• 显著增强鲁棒性

3️⃣ 跨机器人迁移

Franka → UR：

• 提升 >35%

说明图表示确实学到了'交互本质'。

九、核心贡献总结

1. 提出 Graph-to-Graphs 视频预训练框架
2. 引入 Action-informed transferable graph
3. 提出 property-aware hierarchical graph modeling
4. 设计 graph-image interaction 机制
5. 显著提升低数据场景性能

十、方法思考

G3M 的真正价值在于：

• 把视频预训练从'像素级预测'升级为'结构级建模'
• 利用图的 relational inductive bias
• 抽象交互点而非依赖机器人形态

这是一种非常值得关注的方向。