深入解析 π₀ 与 π₀.5：Physical Intelligence 的机器人基础模型演进

2.4 推理流程

输入: 图像 + 语言指令 + 机器人状态 + 噪声 │ ▼ ┌──────────────────┐ │ VLM 前向传播 │ ← 只运行 1 次，生成 KV Cache └────────┬─────────┘ │ ┌────────▼─────────┐ │ Flow Matching │ ← 迭代 10 次（欧拉积分） │ Action Expert │ └────────┬─────────┘ │ ▼ 输出: 50 步动作序列（Action Chunk） 

3. π₀.5：开放世界泛化的 VLA

3.1 设计目标

π₀.5 的核心目标是实现 开放世界泛化（Open-World Generalization）。

'…exhibits meaningful generalization to entirely new environments'
'All experiments were done in homes that were NOT in the training data'
—— π₀.5 官方博客

π₀.5 追求的是让机器人能够：

• 在从未见过的新家庭中执行任务
• 理解任务的语义结构并自主分解
• 处理新物体和新场景

3.2 核心创新：Knowledge Insulation（知识隔离）

π₀ 存在一个严重问题：训练时 Action Expert 的梯度会 破坏 VLM 的预训练知识，导致：

• 训练速度慢
• 语言指令跟随能力下降
• 泛化能力受限

π₀.5 通过 Knowledge Insulation 解决这个问题：

┌─────────────────────────────────────────────────────────────────────┐ │ Knowledge Insulation 训练 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ VLM Backbone 损失 │ │ │ │ │ │ │ │ FAST Token Loss Web Data Loss 高层次语义 Loss │ │ │ │ (离散动作预测) (VQA, Caption) (子任务预测) │ │ │ │ │ │ │ │ │ │ │ └─────────────────┼─────────────────┘ │ │ │ │ ▼ │ │ │ │ VLM Backbone │ │ │ └───────────────────────────┬─────────────────────────────┘ │ │ │ │ │ Stop Gradient ✕ ← 关键：梯度截断 │ │ │ │ │ ┌───────────────────────────┼─────────────────────────────┐ │ │ │ │ │ │ │ │ Flow Matching Loss │ │ │ │ │ │ │ │ │ ▼ │ │ │ │ Action Expert │ │ │ │ （梯度不传回 VLM） │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ 

Knowledge Insulation 的三个关键点：

1. Stop Gradient：Action Expert 的梯度不传给 VLM Backbone
2. FAST Token Loss：用离散动作 token 训练 VLM，快速学习运动表示
3. VLM Data Co-training：同时训练 Web 数据，保持语言理解能力

3.3 Co-Training 数据策略

π₀.5 采用 协同训练（Co-Training） 策略，融合多种数据源：

┌─────────────────────────────────────────────────────────────────────┐ │ π₀.5 Co-Training 数据 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌────────────────────────────────────────────────────────────┐ │ │ │ 多模态 Web 数据（WD） │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌───────────┐ │ │ │ │ │ 图像描述 │ │ VQA │ │ 物体检测 │ │ 通用多模态 │ │ │ │ │ └──────────┘ └──────────┘ └──────────┘ └───────────┘ │ │ │ └────────────────────────────────────────────────────────────┘ │ │ │ │ ┌────────────────────────────────────────────────────────────┐ │ │ │ 机器人数据 │ │ │ │ ┌──────────────┐ ┌─────────────────┐ ┌──────────────┐ │ │ │ │ │ ME 数据 │ │ CE 数据 │ │ 移动操作数据 │ │ │ │ │ │ (多环境静态 │ │ (跨具身 │ │ (~400小时) │ │ │ │ │ │ 机器人) │ │ 来自 π₀) │ │ │ │ │ │ │ └──────────────┘ └─────────────────┘ └──────────────┘ │ │ │ └────────────────────────────────────────────────────────────┘ │ │ │ │ ┌────────────────────────────────────────────────────────────┐ │ │ │ 高层次语义数据 │ │ │ │ ┌──────────────┐ ┌─────────────────┐ ┌──────────────┐ │ │ │ │ │ 语言指令 │ │ 子任务标注 │ │ 高层次规划 │ │ │ │ │ │ "关闭微波炉" │ │ "捡起枕头" │ │ │ │ │ │ │ └──────────────┘ └─────────────────┘ └──────────────┘ │ │ │ └────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ 

3.4 层次化推理（类似 Chain-of-Thought）

π₀.5 采用 层次化推理 流程：

┌─────────────────────────────────────────────────────────────────────┐ │ π₀.5 层次化推理流程 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ① 高层任务 │ │ "打扫卧室" │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ VLM 推理（高层） │ │ │ │ 输入: 图像 + "打扫卧室" │ │ │ │ 输出: "捡起枕头" ← 自动生成子任务 │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ② 子任务 │ │ "捡起枕头" │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ Action Expert 推理（低层） │ │ │ │ 输入: 图像 + "捡起枕头" │ │ │ │ 输出: [-1.7, 1.25, 3.14, ...] (50步动作) │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ③ 执行动作 │ │ 机器人执行生成的动作序列 │ │ │ └─────────────────────────────────────────────────────────────────────┘ 

这种设计类似于 LLM 中的 Chain-of-Thought：

• 模型先 '告诉自己' 下一步应该做什么（高层语言推理）
• 再执行具体的运动控制（低层动作生成）

4. π₀ 与 π₀.5 核心差异对比

4.1 设计目标对比

4.2 训练方法对比

┌─────────────────────────────────────────────────────────────────────┐ │ 训练方法对比 │ ├───────────────────────────────┬─────────────────────────────────────┤ │ π₀ │ π₀.5 │ ├───────────────────────────────┼─────────────────────────────────────┤ │ │ │ │ Flow Matching Loss │ FAST Token + VLM Data + Flow │ │ │ │ │ │ │ ▼ │ ▼ │ │ Action Expert │ VLM Backbone │ │ │ │ │ │ │ │ 梯度流动 │ × Stop Gradient │ │ ▼ │ │ │ │ VLM Backbone │ Action Expert │ │ │ │ │ │ │ ▼ │ ▼ │ │ 预训练知识被破坏 ❌ │ 预训练知识被保护 ✅ │ │ │ │ └───────────────────────────────┴─────────────────────────────────────┘ 

4.3 数据策略对比

4.4 推理方式对比

4.5 性能对比

4.6 消融实验结果

π₀.5 论文中的消融实验揭示了各数据源的重要性：

关键发现：

• Web 数据：对 OOD 泛化最重要（识别新物体）
• 多环境数据（ME）：对所有条件都重要
• 跨具身数据（CE）：提供通用物理技能

5. 模型结构差异（代码层面）

从 openpi 代码库来看，π₀ 和 π₀.5 的模型结构差异非常小，主要体现在两点：

5.1 状态输入方式

# π₀: 状态作为连续向量输入 state_embedding = self.state_proj(state)# MLP 编码# π₀.5: 状态离散化为语言 token，作为 prefix 的一部分 state_tokens = tokenize_state(state)# 离散化

5.2 时间步注入方式

# π₀: 时间步与动作嵌入拼接 action_with_time = torch.cat([action_emb, time_emb], dim=-1) output = self.mlp(action_with_time)# π₀.5: 使用 AdaRMS（Adaptive RMSNorm）# 时间步条件动态调整归一化的 scale 和 shiftclassAdaptiveRMSNorm:defforward(self, x, cond): normed = rms_norm(x)# cond 生成 scale, shift, gate scale, shift, gate = self.modulation(cond).chunk(3)return normed *(1+ scale)+ shift 

6. 总结

6.1 演进路线

┌─────────────────────────────────────────────────────────────────────┐ │ VLA 模型演进路线 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 第一代 VLA（RT-2, OpenVLA） │ │ └── 离散动作 token，精度低，速度慢 │ │ │ │ │ ▼ │ │ π₀（2024.10） │ │ ├── Flow Matching 连续动作 │ │ ├── 双专家架构 │ │ └── 灵巧操作能力强，但泛化有限 │ │ │ │ │ ▼ │ │ π₀.5（2025.4） │ │ ├── Knowledge Insulation │ │ ├── Co-Training 多源数据 │ │ ├── 层次化推理 │ │ └── 开放世界泛化能力 │ │ │ │ │ ▼ │ │ 未来：更强的推理、规划、自主改进能力 │ │ │ └─────────────────────────────────────────────────────────────────────┘ 

6.2 核心结论

1. π₀ vs π₀.5 的核心差异不在模型结构，而在训练方法和数据策略
2. Knowledge Insulation 是关键创新：
   • Stop Gradient 保护 VLM 预训练知识
   • FAST Token 快速学习运动表示
   • 训练快 7.5 倍，语言理解更好
3. Co-Training 实现泛化：
   • Web 数据提供语义理解
   • 多环境数据提供场景泛化
   • 跨具身数据提供通用技能
4. 层次化推理：
   • 类似 Chain-of-Thought
   • 先生成高层语言指令
   • 再生成低层动作

6.3 启示

π₀ 到 π₀.5 的演进表明，VLA 模型的发展方向是：

• 保护预训练知识：不是简单地端到端训练
• 多模态协同训练：融合 Web 数据、机器人数据、语义标注
• 层次化推理：让模型学会"思考"而不只是"反应"

参考资料

1. π₀ 官方博客
2. π₀.5 官方博客
3. Knowledge Insulation 论文
4. openpi 开源代码库
5. π₀ 论文 PDF
6. π₀.5 论文 PDF