LIBERO：终身机器人学习数据集与基准测试平台简介

这 10 个任务都涉及将黑碗放到盘子上，但黑碗的初始位置不同，例如拾取盘子和小碗之间的黑碗、桌子中央的黑碗等。

3.2 LIBERO-Object（物体知识迁移）

这 10 个任务都是将不同物体放入篮子，包括字母汤罐头、奶油奶酪、沙拉酱、番茄酱、黄油、牛奶、巧克力布丁、橙汁等。

3.3 LIBERO-Goal（目标导向迁移）

这 10 个任务涉及不同的操作目标，如打开柜子抽屉、将碗放到炉子或柜子上、将酒瓶放到架子上等。

3.4 LIBERO-10（综合测试套件）

这 10 个任务来自不同场景，涉及复合操作，例如客厅场景中将多种物品放入篮子，厨房场景中打开炉子并放置摩卡壶等。

3.5 LIBERO-90

包含 90 个任务用于预训练。系统支持 21 种不同的任务顺序排列，用于评估持续学习算法在不同任务序列下的表现。

4. 框架算法详解

4.1 终身学习算法

1. Sequential (base)

顺序微调基线，也是所有终身学习算法的父类。

原理：按顺序在每个任务上训练策略网络，不采用任何防止遗忘的机制。每个任务开始时初始化优化器和调度器，然后通过 observe() 方法学习数据点。

学习过程包括：

• 将数据移到设备上。
• 计算策略损失。
• 反向传播并应用梯度裁剪。
• 更新参数。

2. Experience Replay (ER)

经验回放算法。

原理：维护一个包含之前任务数据的缓冲区。学习新任务时，从缓冲区采样旧任务数据与当前任务数据混合训练，防止灾难性遗忘。

每个任务结束后，将该任务的数据集截断并添加到缓冲区。学习时合并当前数据和缓冲区数据。

3. Elastic Weight Consolidation (EWC)

弹性权重巩固算法。

原理：通过添加正则化惩罚项来保护重要参数不被修改。计算 Fisher 信息矩阵来估计参数重要性，然后在损失函数中添加惩罚项，限制重要参数的变化。

每个任务结束后计算 Fisher 信息，学习时在损失中加入惩罚项。

4. PackNet

渐进式网络剪枝算法。

原理：为每个任务分配网络的不同子集。学习新任务时，先将之前任务使用的权重冻结，然后在剩余可训练权重上学习。任务结束后进行剪枝，保留当前任务的重要权重。

学习时将固定参数的梯度置零，任务结束后进行剪枝并可选地进行微调。

5. Multitask

多任务学习基线，所有任务同时训练。

4.2 神经网络架构

1. BCRNNPolicy

基于 RNN 的行为克隆策略。

架构组成：

1. 图像编码器：处理 RGB/深度图像，输出固定维度的嵌入。
2. 语言编码器：编码任务描述。
3. 额外模态编码器：处理关节状态、夹爪状态、末端执行器位置等。
4. LSTM 网络：处理时序信息。
5. 策略头：输出动作分布。

2. BCTransformerPolicy

基于 Transformer 的行为克隆策略。

架构组成：

1. 图像编码器：与 RNN 策略类似。
2. 语言编码器。
3. 额外模态 token 化：将额外模态转换为 token。
4. 时序 Transformer：处理时序依赖。
5. 策略头。

3. BCViLTPolicy

基于视觉 - 语言 Transformer 的行为克隆策略。

架构组成：

1. 图像编码器：使用 patch embedding。
2. 空间语言编码器和时序语言编码器。
3. 位置嵌入和模态嵌入：用于区分不同输入。
4. 空间 Transformer：融合图像和语言信息。
5. 时序 Transformer和策略头。

前向传播包括空间编码和时序编码两个阶段。

所有策略网络都继承自 BasePolicy 基类，实现了统一的接口。三种网络的主要区别在于时序建模方式：RNN 使用 LSTM，Transformer 使用自注意力机制，ViLT 则采用双层 Transformer 分别处理空间和时序信息。所有算法都基于行为克隆，通过模仿学习从人类演示中学习策略。

5. 待解决的问题

LIBERO 旨在解决终身机器人学习中的几个核心挑战：

5.1 知识迁移评估

通过受控的分布偏移，系统可以系统性地研究不同类型知识的迁移能力。前三个任务套件分别测试空间关系、物体知识和目标导向知识的迁移。

5.2 灾难性遗忘

终身学习算法需要在学习新任务时保持对旧任务的性能。系统通过混淆矩阵跟踪这一问题，记录在学习任务 k 后对任务 p 的性能。

5.3 前向和后向迁移

系统计算两个关键指标：

• 前向迁移：学习速度，通过成功率 AUC 衡量。
• 后向迁移：学习新任务后对旧任务性能的影响。

6. 实验评估方法

6.1 评估指标

训练过程中系统跟踪多个指标：

1. 损失混淆矩阵：记录在不同训练阶段各任务的 BC 损失。
2. 成功率混淆矩阵：记录在不同训练阶段各任务的成功率。
3. 学习曲线 AUC：衡量智能体学习和成功的速度。

6.2 实验流程

对于顺序学习算法，系统按以下流程进行：

1. 对每个任务 i，训练智能体。
2. 在所有已见任务（0 到 i）上评估损失和成功率。
3. 更新混淆矩阵和前向迁移指标。

对于多任务学习基线，所有任务同时训练。

6.3 计算效率

系统报告策略网络的计算复杂度，以 GFLOPs 和参数量（MParams）衡量。

7. 下载及安装

7.1 项目下载

# 安装 pip install libero
# 下载示范数据与套件
python -m libero.download_suite --suite libero_100
# 顺序微调实验（以 bc_transformer 为例）
python libero/lifelong_train.py \
    --suite libero_100 \
    --policy bc_transformer_policy \
    --algo sequential

7.2 数据集下载

直接下载链接

• libero_object: https://utexas.box.com/shared/static/avkklgeq0e1dgzxz52x488whpu8mgspk.zip
• libero_goal: https://utexas.box.com/shared/static/iv5e4dos8yy2b212pkzkpxu9wbdgjfeg.zip
• libero_spatial: https://utexas.box.com/shared/static/04k94hyizn4huhbv5sz4ev9p2h1p6s7f.zip
• libero_100: https://utexas.box.com/shared/static/cv73j8zschq8auh9npzt876fdc1akvmk.zip

HuggingFace（推荐）

仓库 ID: yifengzhu-hf/LIBERO-datasets 完整地址：https://huggingface.co/datasets/yifengzhu-hf/LIBERO-datasets

使用下载脚本：

# 使用 HuggingFace 下载
python benchmark_scripts/download_libero_datasets.py --use-huggingface
# 下载特定数据集
python benchmark_scripts/download_libero_datasets.py --datasets libero_spatial --use-huggingface

脚本会提示原始链接可能失效，建议使用 HuggingFace 源。