LIBERO 数据集详解：终身机器人学习与知识迁移基准

这是最基础的顺序微调模式，也是其他算法的父类。原理很简单：按顺序在每个任务上训练策略网络，不采取任何防止遗忘的措施。每个任务开始时重新初始化优化器，然后通过 observe() 方法逐步学习数据点。过程中会计算策略损失、反向传播并应用梯度裁剪。

2. Experience Replay (ER)

经验回放是解决灾难性遗忘的经典手段。它的核心在于维护一个缓冲区，存储之前任务的数据。当学习新任务时，从缓冲区采样旧数据与当前数据混合训练。这样模型就不会完全忘记旧任务的模式。

3. Elastic Weight Consolidation (EWC)

EWC 则更侧重于参数层面的保护。它通过计算 Fisher 信息矩阵来估计哪些参数对旧任务更重要，然后在损失函数中添加正则化惩罚项，限制这些重要参数的变化幅度。这相当于给关键参数上了'锁'，让它们不容易被新任务覆盖。

4. PackNet

这是一种结构化的方法。它尝试为每个任务分配网络的不同子集。学习新任务时，先冻结旧任务的权重，只在剩余可训练权重上学习。任务结束后进行剪枝，保留当前任务的重要连接。这种方法试图在物理层面上隔离不同任务的知识。

神经网络架构差异

三种策略网络都继承自 BasePolicy 基类，接口统一，主要区别在于时序建模方式：

• BCRNNPolicy：使用 LSTM 处理时序信息，适合捕捉短期依赖。
• BCTransformerPolicy：引入自注意力机制，能更好地处理长序列依赖。
• BCViLTPolicy：采用双层 Transformer，分别处理空间编码（图像与语言融合）和时序编码，适合多模态输入。

所有策略均基于行为克隆，通过模仿人类演示来学习策略，无需复杂的强化学习奖励设计。

评估指标与实验流程

LIBERO 旨在解决终身学习中的几个核心挑战，包括知识迁移评估、灾难性遗忘以及前向/后向迁移分析。

评估指标

训练过程中系统会跟踪多个关键指标：

1. 损失混淆矩阵：记录不同训练阶段各任务的 BC 损失情况。
2. 成功率混淆矩阵：记录在不同训练阶段各任务的成功率，直观反映遗忘程度。
3. 学习曲线 AUC：衡量智能体学习和成功的速度，即前向迁移能力。

此外，还会报告策略网络的计算复杂度，以 GFLOPs 和参数量（MParams）作为参考。

实验流程

对于顺序学习算法，典型的流程如下：

1. 对每个任务 i 进行训练。
2. 在所有已见任务（0 到 i）上评估损失和成功率。
3. 更新混淆矩阵和前向迁移指标。

多任务学习基线则是将所有任务同时训练，作为性能上限的参考。

安装与数据集获取

项目支持通过 pip 直接安装，同时也提供了便捷的数据集下载脚本。

环境配置

# 安装核心库
pip install libero

# 下载示范数据与套件
python -m libero.download_suite --suite libero_100

# 运行顺序微调实验（以 bc_transformer 为例）
python libero/lifelong_train.py \
    --suite libero_100 \
    --policy bc_transformer_policy \
    --algo sequential

数据集下载

官方提供了多种下载源，推荐使用 HuggingFace 以确保链接稳定性。

HuggingFace 推荐方式：

# 使用 HuggingFace 下载完整数据集
python benchmark_scripts/download_libero_datasets.py --use-huggingface

# 下载特定数据集（如 Spatial）
python benchmark_scripts/download_libero_datasets.py --datasets libero_spatial --use-huggingface

如果需要使用原始链接，也可以访问 Box.com 下载对应套件（libero_object, libero_goal, libero_spatial, libero_100）。不过请注意，原始链接可能会随时间失效，建议优先使用上述脚本自动拉取。

总的来说，LIBERO 为研究者提供了一个标准化的环境，能够系统地评估机器人如何在不断变化的任务中保持学习能力。无论是想验证新的终身学习算法，还是探索多模态策略网络，这里都能找到合适的基准。