TeleGrip：基于 VR 的机械臂遥操作系统全流程解析

此处完成环境配置并将机械臂通过 USB 连接到电脑后，需要执行 python -m lerobot.find_port 来寻找机械臂的端口号，详细在机械臂的相关二次开发教程中有详细说明。

SO100 安装完成后，开始进行本项目的配置，可在之前 conda 创建的环境中接着进行配置，在 git clone 之后直接 pip install -e .即可，中间可能会报错停止，重复几次即可；此处要注意的点在于 OpenSSL 生成签名证书，如果直接没有进行过相关配置，是必须要进行执行的，最好在项目目录执行该命令，后续在运行时，证书在哪个目录下，就要在哪个目录进行运行。

首次运行时需要进行机械臂活动范围的标定，如果之前没有在 LeRobot 进行过，是必要的步骤，标定需要在配置的环境下执行如下命令 telegrip --log-level info --left-port 机械臂的端口号，此处可在 LeRobot 的官方教程或二次开发文件中查找 机械中值的位置并自己活动各个电机的活动范围，标定完成之后，打断进行正常的运行，得到网址在本机的浏览器运行连接机械臂，并在 VR 端的浏览器输入网址，即可进行遥操；只要机械臂连接成功，即可通过键盘进行调试。

特别注意，在 Ubuntu 系统部署的用户在执行时需要提前给定 机械臂端口权限，如：sudo chmod 666 /dev/ttySO100*

二、项目流程与源码解析

在 GitHub 上有简略的运行流程图如下：

由图可知，输入数据包括 VR 手柄与键盘，前者通过 WebSocket 进行数据传输，后者监听运行服务器的键盘，接着一块送入 Control Loop 中进行解算处理，最后将解算的位姿更新到 pybullet 与实际硬件。其与代码对应关系为如下：

从代码角度看整体运行流程如下：

整体大致可分为采集、数据格式统一处理、解算并发送三个流程，其中采集采用 浏览器插件 A-Frame，其是一个基于 HTML 的 WebXR 框架，用于构建虚拟现实（VR）、增强现实（AR）和 3D 场景，运行在普通网页浏览器中。它是 Mozilla 开发的开源项目，目标是让 任何人都能通过写 HTML 快速搭建 3D/VR 应用，此处是使用其进行手柄位置与姿态的采集，同时在该部分使用 websocket 将在 VR 端采集到的数据发送服务端；

接着在服务端 vr_ws_server.py 的进行接收并进行数据的统一处理，注意此处仅包括 VR 端数据，键盘数据因为是本地监听，在监听时就已经做了处理；

处理完成后通过 python 内部通信传输到 control_loop.py，在 pybullet 中进行 IK 解算，解算完成后将对应的位姿发送到 pybullet 的仿真以及外部实际的硬件中。

各部分详细处理大致如下所示：

此处对应数据采集部分；

此处对应数据统一处理并发送；

此处对应数据 IK 解算、数据发送；

三、小结与运行效果

TeleGrip 项目以 浏览器端 VR 控制 → WebSocket 数据传输 → 后端控制循环解算 → 机械臂动作执行 为核心流程，实现了从虚拟空间到物理空间的实时映射。其系统结构层次清晰、模块划分明确、易于扩展，是一个轻量化的 VR 远程操控框架。

通过 TeleGrip，可以在普通 PC + Meta Quest + 入门级 SO100 机械臂的低成本配置下，实现高精度、低延迟的远程动作控制。 前端基于 A-Frame 框架进行位姿采集与可视化，后端以 Python 为主线，实现了命令队列管理、控制循环计算、运动插值与姿态解算，并支持 PyBullet 仿真与实际硬件同步。

该框架不仅可用于 VR 操控实验、具身智能交互研究、双臂协作任务验证，也可作为后续多模态交互系统（如语音控制、视觉识别、策略优化）的基础模块，此外 LeRobot 本身也自带许多可进行研究的模块，包括 VLA 模型的训练、微调等。

下图为 TeleGrip 的运行效果示例，展示了 VR 控制器驱动 SO100 机械臂进行同步运动 的过程：

可以看出在大幅度动作时，有些动作对应不上，可能是采用的 IK 解算方法为比较基础的 DLS（阻尼最小二乘法）的关系，也可能是中间数据没有进行插值的原因（简单插值后动作会顺滑一些），不过此处仅作验证，不做过多概述。