前言
随着人工智能技术的飞速发展,机器人在各种场景中的应用越来越广泛。然而,机器人在真实世界中的操作能力仍然受到诸多限制,其中一个关键问题是缺乏高质量的可交互物体数据。为了提升机器人的仿真训练效果,上海 AI Lab 推出了 Infinite Mobility,这是一个基于程序化生成技术的可交互物体生成模型。
项目概述
Infinite Mobility 能够高效生成高质量的可交互物体数据资产。该模型支持 22 类常见可交互物体的生成,单个物体生成仅需约 1 秒,且生成数量无上限。相比传统数据集(如 PartNet-Mobility),Infinite Mobility 生成的物体结构复杂度更高、外观质量更优、成本更低。目前,其生成的物体已应用于桃源 2.0、Isaac Sim 等仿真训练平台,助力机器人在虚拟环境中进行大规模训练,从而提升在真实世界中的操作能力。
[图:Infinite Mobility 生成的物体示例]
技术原理
程序化生成技术
Infinite Mobility 使用程序化生成技术,基于预设的规则和逻辑动态生成物体的结构、几何形状和材质。这种方法避免了传统数据驱动方法对大规模标注数据的依赖,大幅降低了数据生成成本。
- 树结构生长策略:物体的关节结构被抽象为类似 URDF 的树状模型,从根节点开始,基于语义规则动态'生长'出完整的物体结构。通过概率分布控制子树的生成组合,模型能够生成多样化的物体形态。
- 几何与材质生成:模型结合程序化生成和精选资产库,确保部件的尺寸、位置与支撑点精准对齐。基于程序化调整基于物理的渲染(PBR)参数,生成逼真的材质效果。
物理合理性
Infinite Mobility 通过程序化检测与调整,避免物体自碰撞和关节运动不合理的问题,确保生成物体可直接用于仿真训练。
- 关节生成:基于生成的树状结构和几何信息,模型为每个关节确定类型、轴向和运动范围,确保生成的物体在物理上是合理的。
主要功能
- 高效生成可交互物体:快速生成高质量的可交互物体,单个物体生成时间仅需约 1 秒,且生成数量无上限。
- 支持多样化物体类别:涵盖家具、家电、工具等多种类型,满足不同应用场景的需求。
- 提供高质量几何与材质:支持逼真的纹理、金属氧化痕迹、木材纹理等效果,提升仿真环境的真实感。
- 确保物理合理性:基于程序化检测与调整,避免物体自碰撞和关节运动不合理的问题。
- 低成本数据生成:单个生成成本可降至约 0.01 元,大幅降低数据获取成本。
应用场景
Infinite Mobility 的应用场景非常广泛,以下是一些具体的应用场景和实际案例:
- 机器人仿真训练:快速生成大量可交互物体,提升机器人的操作能力。
- 医疗机器人开发:生成医疗器械模型,助力医疗机器人训练。
- 家庭服务机器人优化:生成各种家用电器和家具模型,增强机器人的适应性。
- 虚拟现实与增强现实:生成的物体能够提供更加逼真的视觉效果,提升用户体验。
- 人工智能研究:提供多样化数据,支持物体识别和交互学习研究。
快速使用
安装环境
- 克隆项目代码
git clone https://github.com/OpenRobotLab/Infinite-Mobility.git
cd Infinite-Mobility
- 安装基础环境 项目基于 Infinigen 开发,因此需要先按照 Infinigen 的安装说明设置基础环境。
git https://github.com/NVIDIA/infinigen.git
infinigen
git checkout 572bfe7
pip install -r requirements.txt


