介绍终身机器人学习的数据集LIBERO

优质文章学习记录

— 10 min read
介绍终身机器人学习的数据集LIBERO
在这里插入图片描述

1 LIBERO的作用

在这里插入图片描述

LIBERO是一个用于研究多任务和终身机器人学习中知识迁移的综合基准测试平台，LIBERO是基于robosuite框架构建的。它专注于机器人操作任务，这些任务需要两类知识：

  1. 陈述性知识：关于物体和空间关系的知识
  2. 程序性知识：关于运动和行为的知识

2 核心原理

任务生成与基准设计

LIBERO提供了一个程序化生成管道，原则上可以生成无限数量的操作任务。系统包含130个任务，分为四个任务套件，每个套件都有受控的分布偏移：

  • LIBERO-Spatial/Object/Goal：专注于特定类型知识的迁移
  • LIBERO-100：包含需要迁移纠缠知识的100个操作任务

学习框架

系统采用模仿学习作为主要学习方法，因为任务使用稀疏奖励函数（任务完成时获得+1奖励）。LIBERO提供高质量的人类遥操作演示数据集用于训练。

算法与策略架构

LIBERO实现了三种视觉运动策略网络：

  • bc_rnn_policy：基于RNN的行为克隆策略
  • bc_transformer_policy：基于Transformer的行为克隆策略
  • bc_vilt_policy：基于视觉-语言Transformer的行为克隆策略

以及五种终身学习算法：

  • base：顺序微调（基线）
  • er：经验回放（Experience Replay）
  • ewc：弹性权重巩固（Elastic Weight Consolidation）
  • packnet：渐进式网络架构方法
  • multitask：多任务学习（基线）

3 任务套件概览

LIBERO包含130个任务，分为四个主要任务套件：

  1. LIBERO-Spatial（10个任务）
  2. LIBERO-Object（10个任务）
  3. LIBERO-Goal（10个任务）
  4. LIBERO-100（100个任务）

LIBERO-100进一步分为LIBERO-90（90个任务，用于预训练）和LIBERO-10（10个任务，用于测试下游持续学习性能）。

3.1 LIBERO-Spatial（空间关系迁移）

这10个任务都涉及将黑碗放到盘子上，但黑碗的初始位置不同：

  1. 拾取盘子和小碗之间的黑碗并放到盘子上
  2. 拾取小碗旁边的黑碗并放到盘子上
  3. 拾取桌子中央的黑碗并放到盘子上
  4. 拾取饼干盒上的黑碗并放到盘子上
  5. 拾取木柜顶部抽屉中的黑碗并放到盘子上
  6. 拾取小碗上的黑碗并放到盘子上
  7. 拾取饼干盒旁边的黑碗并放到盘子上
  8. 拾取炉子上的黑碗并放到盘子上
  9. 拾取盘子旁边的黑碗并放到盘子上
  10. 拾取木柜上的黑碗并放到盘子上
3.2 LIBERO-Object（物体知识迁移）

这10个任务都是将不同物体放入篮子：

  1. 拾取字母汤罐头并放入篮子
  2. 拾取奶油奶酪并放入篮子
  3. 拾取沙拉酱并放入篮子
  4. 拾取烧烤酱并放入篮子
  5. 拾取番茄酱并放入篮子
  6. 拾取番茄酱罐并放入篮子
  7. 拾取黄油并放入篮子
  8. 拾取牛奶并放入篮子
  9. 拾取巧克力布丁并放入篮子
  10. 拾取橙汁并放入篮子
3.3 LIBERO-Goal（目标导向迁移）

这10个任务涉及不同的操作目标：

  1. 打开柜子的中间抽屉
  2. 将碗放到炉子上
  3. 将酒瓶放到柜子顶部
  4. 打开顶部抽屉并将碗放入
  5. 将碗放到柜子顶部
  6. 将盘子推到炉子前面
  7. 将奶油奶酪放入碗中
  8. 打开炉子
  9. 将碗放到盘子上
  10. 将酒瓶放到架子上
3.4 LIBERO-10（综合测试套件）

这10个任务来自不同场景，涉及复合操作：

  1. 客厅场景2：将字母汤和番茄酱都放入篮子
  2. 客厅场景2：将奶油奶酪盒和黄油都放入篮子
  3. 厨房场景3：打开炉子并将摩卡壶放上去
  4. 厨房场景4：将黑碗放入柜子底部抽屉并关闭
  5. 客厅场景5：将白色杯子放到左边盘子上，黄白杯子放到右边盘子上
  6. 书房场景1：拾取书并放入收纳盒后部隔间
  7. 客厅场景6：将白色杯子放到盘子上，巧克力布丁放到盘子右边
  8. 客厅场景1：将字母汤和奶油奶酪盒都放入篮子
  9. 厨房场景8：将两个摩卡壶都放到炉子上
  10. 厨房场景6：将黄白杯子放入微波炉并关闭
3.5 LIBERO-90

包含90个任务用于预训练。

系统支持21种不同的任务顺序排列，用于评估持续学习算法在不同任务序列下的表现。

4 框架算法详解

4.1 终身学习算法

1. Sequential (base)

顺序微调基线，也是所有终身学习算法的父类。

原理：按顺序在每个任务上训练策略网络，不采用任何防止遗忘的机制。每个任务开始时初始化优化器和调度器，然后通过observe()方法学习数据点。

学习过程包括：

  • 将数据移到设备上
  • 计算策略损失
  • 反向传播并应用梯度裁剪
  • 更新参数
2. Experience Replay (ER)

经验回放算法。

原理：维护一个包含之前任务数据的缓冲区。学习新任务时，从缓冲区采样旧任务数据与当前任务数据混合训练，防止灾难性遗忘。

每个任务结束后，将该任务的数据集截断并添加到缓冲区。学习时合并当前数据和缓冲区数据。

3. Elastic Weight Consolidation (EWC)

弹性权重巩固算法。

原理：通过添加正则化惩罚项来保护重要参数不被修改。计算Fisher信息矩阵来估计参数重要性，然后在损失函数中添加惩罚项，限制重要参数的变化。

每个任务结束后计算Fisher信息，学习时在损失中加入惩罚项。

4. PackNet

渐进式网络剪枝算法。

原理：为每个任务分配网络的不同子集。学习新任务时，先将之前任务使用的权重冻结，然后在剩余可训练权重上学习。任务结束后进行剪枝，保留当前任务的重要权重。

学习时将固定参数的梯度置零，任务结束后进行剪枝并可选地进行微调。

5. Multitask

多任务学习基线，所有任务同时训练。

4.2 神经网络架构

1. BCRNNPolicy

基于RNN的行为克隆策略。

架构组成：

  1. 图像编码器：处理RGB/深度图像，输出固定维度的嵌入
  2. 语言编码器：编码任务描述
  3. 额外模态编码器：处理关节状态、夹爪状态、末端执行器位置等
  4. LSTM网络：处理时序信息
  5. 策略头：输出动作分布
2. BCTransformerPolicy

基于Transformer的行为克隆策略。

架构组成：

  1. 图像编码器：与RNN策略类似
  2. 语言编码器
  3. 额外模态token化：将额外模态转换为token
  4. 时序Transformer：处理时序依赖
  5. 策略头
3. BCViLTPolicy

基于视觉-语言Transformer的行为克隆策略。

架构组成：

  1. 图像编码器：使用patch embedding
  2. 空间语言编码器和时序语言编码器
  3. 位置嵌入和模态嵌入：用于区分不同输入
  4. 空间Transformer：融合图像和语言信息
  5. 时序Transformer和策略头

前向传播包括空间编码和时序编码两个阶段。

所有策略网络都继承自BasePolicy基类，实现了统一的接口。三种网络的主要区别在于时序建模方式：RNN使用LSTM，Transformer使用自注意力机制，ViLT则采用双层Transformer分别处理空间和时序信息。所有算法都基于行为克隆，通过模仿学习从人类演示中学习策略。

5 待解决的问题

LIBERO旨在解决终身机器人学习中的几个核心挑战：

5.1. 知识迁移评估

通过受控的分布偏移，系统可以系统性地研究不同类型知识的迁移能力。前三个任务套件分别测试空间关系、物体知识和目标导向知识的迁移。

5.2. 灾难性遗忘

终身学习算法需要在学习新任务时保持对旧任务的性能。系统通过混淆矩阵跟踪这一问题，记录在学习任务k后对任务p的性能。

5.3. 前向和后向迁移

系统计算两个关键指标：

  • 前向迁移：学习速度，通过成功率AUC衡量
  • 后向迁移：学习新任务后对旧任务性能的影响

6 实验评估方法

6.1 评估指标

训练过程中系统跟踪多个指标：

  1. 损失混淆矩阵：记录在不同训练阶段各任务的BC损失
  2. 成功率混淆矩阵：记录在不同训练阶段各任务的成功率
  3. 学习曲线AUC：衡量智能体学习和成功的速度

6.2 实验流程

对于顺序学习算法，系统按以下流程进行：

  1. 对每个任务i，训练智能体
  2. 在所有已见任务（0到i）上评估损失和成功率
  3. 更新混淆矩阵和前向迁移指标

对于多任务学习基线，所有任务同时训练。

6.3 计算效率

系统报告策略网络的计算复杂度，以GFLOPs和参数量（MParams）衡量。

7 下载及安装

7.1 项目下载

# 安装 pip install libero # 下载示范数据与套件 python -m libero.download_suite --suite libero_100 # 顺序微调实验（以 bc_transformer 为例） python libero/lifelong_train.py \ --suite libero_100 \ --policy bc_transformer_policy \ --algo sequential

7.3 数据集下载

（1）直接下载链接
libero_object: https://utexas.box.com/shared/static/avkklgeq0e1dgzxz52x488whpu8mgspk.zip
libero_goal: https://utexas.box.com/shared/static/iv5e4dos8yy2b212pkzkpxu9wbdgjfeg.zip
libero_spatial: https://utexas.box.com/shared/static/04k94hyizn4huhbv5sz4ev9p2h1p6s7f.zip
libero_100: https://utexas.box.com/shared/static/cv73j8zschq8auh9npzt876fdc1akvmk.zip

（2）HuggingFace (推荐)
HuggingFace仓库地址: download_utils.py:108
仓库ID: yifengzhu-hf/LIBERO-datasets
完整地址: https://huggingface.co/datasets/yifengzhu-hf/LIBERO-datasets
下载方法
使用下载脚本: download_libero_datasets.py:1-27

# 使用HuggingFace下载(推荐)  python benchmark_scripts/download_libero_datasets.py --use-huggingface 
# 下载特定数据集  python benchmark_scripts/download_libero_datasets.py --datasets libero_spatial --use-huggingface

脚本会提示原始链接可能失效,建议使用HuggingFace源。

Read more

抛弃Copilot？手把手教你用Python+Claude 3.5 Sonnet打造“全栈代码审计”Agent

抛弃Copilot？手把手教你用Python+Claude 3.5 Sonnet打造“全栈代码审计”Agent

在AI辅助编程领域，GitHub Copilot虽然方便，但往往只能针对当前文件进行补全，缺乏对“整个项目结构”的宏观理解。随着 Claude 3.5 Sonnet 在Coding Benchmarks（编程基准测试）中全面霸榜，以及 Gemini 1.5 Pro 开放百万级上下文窗口，我们完全有能力自己动手，构建一个比Copilot更懂业务逻辑的私人编程助手。本文将从AST（抽象语法树）解析开始，深入讲解如何利用Python构建一个RAG（检索增强生成）架构，并通过API聚合网关接入Claude 3.5，实现对遗留代码（Legacy Code）的自动化重构与审计。文末附带独家免费测试额度及完整源码。 一、 痛点：为什么我们需要“第二代”AI编程助手？ 作为一名每天要写几百行代码的开发者，你是否遇到过以下场景： 1. 接手“屎山”代码：前人留下的代码逻辑错综复杂，

Qwen1.5-0.5B-Chat教育助手开发：轻量模型集成实战教程

Qwen1.5-0.5B-Chat教育助手开发：轻量模型集成实战教程 1. 引言：为什么选择这个“小”模型？ 如果你正在寻找一个能快速集成到教育应用里的AI对话模型，但又担心模型太大、部署太麻烦、成本太高，那么你来对地方了。 今天我们要聊的，是阿里通义千问开源家族里最“苗条”的成员——Qwen1.5-0.5B-Chat。别看它只有5亿参数，在动辄百亿、千亿参数的大模型时代显得有点“小巧”，但在特定的教育辅助场景下，它却是一个“小而美”的绝佳选择。 想象一下这些场景： * 你想给在线学习平台加一个智能答疑助手，回答学生关于课程内容的简单问题。 * 你需要一个能批改选择题、填空题，并给出简单解析的自动化工具。 * 你的应用运行在普通的云服务器甚至本地电脑上，没有强大的GPU支持。 在这些情况下，动辄需要几十GB显存的大模型就显得“杀鸡用牛刀”了。而Qwen1.5-0.5B-Chat就像一个专为轻量级任务定制的“瑞士军刀”，部署简单、响应迅速、资源占用极低。 本教程将手把手带你，基于ModelScope（

KoboldAI完整安装与配置指南：AI写作工具的终极入门教程

KoboldAI完整安装与配置指南：AI写作工具的终极入门教程 【免费下载链接】KoboldAI-Client 项目地址: https://gitcode.com/gh_mirrors/ko/KoboldAI-Client 想要体验强大的AI写作助手吗？KoboldAI是一个基于浏览器的AI辅助写作前端，支持多种本地和远程AI模型。无论你是想创作小说、玩文字冒险游戏，还是与AI聊天，这个终极指南将带你一步步完成安装配置，开启你的AI写作之旅！🚀 💡 KoboldAI是什么？ KoboldAI是通往GPT写作的门户，提供标准化的写作工具套件，包括记忆功能、作者笔记、世界信息、保存加载、可调节的AI设置、格式化选项等。你可以将其作为写作助手、游戏平台或聊天机器人使用。 核心功能亮点 * 多种游戏模式：小说模式、冒险模式、聊天模式 * 丰富的AI模型：支持多种本地和云端模型 * 完整写作工具：记忆系统、世界构建、格式控制 🛠️ 快速开始：三种安装方式 在线免费体验（最简单） 使用Google Colab在线运行KoboldAI，无需安装任何软件： * T
【AIGC实战】蓝耘元生代部署通义万相2.1文生视频，up主亲测好用~

【AIGC实战】蓝耘元生代部署通义万相2.1文生视频，up主亲测好用~

文章目录 * 👏什么是文生视频？ * 👏通义万相2.1文生视频 * 👏开源仓库代码 * 👏蓝耘元生代部署通义万相2.1文生视频 * 👏平台注册 * 👏部署通义万相2.1文生视频 * 👏使用通义万相2.1文生视频 * 👏总结 👏什么是文生视频？ 文生视频（Text-to-Video）是利用人工智能技术，通过文本描述生成视频内容的一种创新技术。类似于图像生成技术，文生视频允许用户通过输入简单的文本描述，AI模型会自动将其转化为动态视频。这种技术广泛应用于创作、广告、教育等领域，为内容创作者提供了新的创作方式和灵感。 👏通义万相2.1文生视频 IT之家 1 月 10 日消息，阿里旗下通义万相宣布推出 2.1 版本模型升级，视频生成、图像生成两大能力均有显著提升。 在视频生成方面，通义万相 2.1 通过自研的高效 VAE 和 DiT 架构增强了时空上下文建模能力，支持无限长 1080P 视频的高效编解码，