AR 手势识别技术解析：Rokid UXR SDK 实现与优化

• 硬件：支持 Unity 开发的 PC、Rokid Station Pro/Station2、Rokid Max Pro/Max/Max2 眼镜。
• 软件：Unity 2022 LTS，Android Build Support (SDK, NDK, OpenJDK)，Android Platform 28-34，YodaOS 系统 v3.30.003-20250120-800201 及以上。

场景搭建

1. 添加核心组件：
   • 拖入 RKHand 预制体，保留 PokeInteractor 和 RayInteractor。
   • 开启 InteractorStateChange 脚本，设置 Near Field Threshold 为 0.8m，Gesture Confidence Filter 为 0.8。
2. 创建可抓取 Cube：
   • 创建 3D Object → Cube，挂载 Box Collider 和 RayInteractable 组件。
3. 开启骨骼可视化：
   • 选中 RightHandRender，勾选 SkeletonLine 组件，设置 Line Color 为红色。

核心脚本开发

创建脚本 UXR3_GrabLogic，挂载到 GrabCube 上。核心逻辑：获取手势类型 + 置信度，结合骨骼点位置实现捏合抓取、跟随、握拳释放。

using Rokid.UXR.Module;
using UnityEngine;

public class UXR3_GrabLogic : MonoBehaviour {
    [Header("UXR 3.0 抓取配置")]
    public HandType targetHand = HandType.RightHand;
    public float followSensitivity = 0.1f;
    public float minConfidence = 0.8f;

    private bool isGrabbed = false;
    private Vector3 lastPalmPos;
    private MeshRenderer cubeRenderer;

    void Start() {
        cubeRenderer = GetComponent<MeshRenderer>();
        cubeRenderer.material.color = Color.white;
        if (GesEventInput.Instance.IsHandDataValid(targetHand)) {
            lastPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;
        }
    }

    void Update() {
        if (!GesEventInput.Instance.IsHandDataValid(targetHand)) {
            if (isGrabbed) ReleaseCube();
            return;
        }

        GestureType currentGes = GesEventInput.Instance.GetGestureType(targetHand);
        float currentConf = GesEventInput.Instance.GetGestureConfidence(targetHand);

        if (currentConf < minConfidence) return;

        if (currentGes == GestureType.Pinch && !isGrabbed) {
            GrabCube();
        } else if (currentGes == GestureType.Grip && isGrabbed) {
            ReleaseCube();
        }

        if (isGrabbed) {
            FollowPalm();
            DrawSkeletonDebugLine();
        }
    }

    private void GrabCube() {
        isGrabbed = true;
        cubeRenderer.material.color = Color.red;
        Debug.Log($"抓取成功！手势置信度：{GesEventInput.Instance.GetGestureConfidence(targetHand):F2}");
        lastPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;
    }

    private void ReleaseCube() {
        isGrabbed = false;
        cubeRenderer.material.color = Color.white;
        Debug.Log("释放立方体");
    }

    private void FollowPalm() {
        Vector3 currentPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;
        Vector3 moveDelta = (currentPalmPos - lastPalmPos) * followSensitivity;
        transform.position += moveDelta;
        lastPalmPos = currentPalmPos;
    }

    private void DrawSkeletonDebugLine() {
        Pose palmPose = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand);
        Pose indexTipPose = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.INDEX_FINGER_TIP, targetHand);
        Debug.DrawLine(palmPose.position, indexTipPose.position, Color.red);
    }
}

远近场控制

• 自动切换：InteractorStateChange 脚本根据距离自动启用 PokeInteractor 或 RayInteractor。
• 自定义强制近场：可通过代码禁用远场组件 RayInteractor。

运行测试

1. 连接设备，Unity 中选择 Build And Run。
2. 验证骨骼可视化、抓取跟随、释放复位及远近场切换功能。

常见问题

SDK 导入后找不到「RKInput」预制体

真机运行后，Cube 不跟随手部移动

打包 APK 后，手势无响应

UXR 3.0 中骨骼点不显示