XRoboToolkit —— 基于 PICO 4 Ultra 的机器人遥操作方案（一）

系列文章目录

目录

系列文章目录

前言

一、引言

二、遥操作系统

2.1 概述

2.2 数据流传输

2.3 机器人控制

2.3.1 逆运动学

2.3.2 灵巧手重新定位

2.3.3 移动底座控制

2.4 XR Unity 应用程序

2.5 立体视觉反馈

三、应用与演示

3.1 基于XR控制器的遥操作系统

3.2 基于主动立体视觉的高精度操作

3.3 冗余机械臂控制用运动追踪器

3.4 灵巧手在MuJoCo中的应用

四、实验

4.1 视频流传输延迟比较

4.2 VLA 微调的数据采集

五、结论

参考文献

前言

        视觉-语言-动作模型（Vision-Language-Action models）的快速发展催生了对大规模、高质量机器人演示数据集的迫切需求。尽管遥操作是数据采集的主要方法，但现有方法存在可扩展性有限、设置流程复杂以及数据质量不佳等问题。本文提出XRoboToolkit，这是一个基于OpenXR标准的跨平台扩展现实（XR）机器人遥操作框架。该系统具备低延迟立体视觉反馈、基于优化的逆运动学算法，并支持多种跟踪模态，包括头部、控制器、手部及辅助运动追踪器。XRoboToolkit的模块化架构可实现跨机器人平台与模拟环境的无缝集成，涵盖精密机械臂、移动机器人及灵巧手等场景。我们通过精密操作任务演示了该框架的有效性，并通过训练展现出 robust 自主性能的 VLA 模型来验证数据质量。

@article{zhao2025xrobotoolkit,
      title={XRoboToolkit: A Cross-Platform Framework for Robot Teleoperation}, 
      author={Zhigen Zhao and Liuchuan Yu and Ke Jing and Ning Yang}, 
      journal={arXiv preprint arXiv