Rokid AR 手势识别技术深度解析与开发实践

2.3 近/远场手势

Rokid 将手势分为近场（触碰互动）和远场（射线远距离操控）。切换依据是手与互动物体的距离，默认设置手在 -0.02m ~ 0.04m 范围内为近场，超出则为远场。

UI 操作通过'近→触→压→抬'四阶段反馈实现：手靠近时按钮抬动预告，触摸时变色缩放，按压到底触发音效，抬起复原。

2.4 性能与开发门槛

快反应：

• 轻量化模型：UXR 3.0 模型比 2.0 小 30%，识别延迟从 120ms 降到 100ms。
• 动态帧率调节：手不动时降为 20fps，快速动时升为 30fps。

低门槛： Rokid 将技术封装成现成工具。UXR 3.0 支持通过 Unity Package Manager (UPM) 导入。

示例代码（Unity C#）：

using Rokid.UXR.Module;
using UnityEngine;
using UnityEngine.EventSystems;
using UnityEngine.UI;

public class GestureBtn : MonoBehaviour, IPointerClickHandler {
    private Image btnImg;
    void Start() { btnImg = GetComponent<Image>(); }
    public void OnPointerClick(PointerEventData eventData) {
        float confidence = GesEventInput.Instance.GetGestureConfidence(HandType.RightHand);
        if (confidence > 0.8f) {
            btnImg.color = Color.green;
        }
    }
}

三、实战：UXR 3.0 手势抓立方体

3.1 前置准备

硬件环境：

• PC 设备（Mac 或 Windows）。
• 空间计算设备（Station Pro/Station 2）。
• 眼镜设备（Max Pro/Max/Max 2）。

软件环境：

• Unity 2022 LTS。
• Android Build Support（SDK, NDK, OpenJDK）。
• Android Platform 28 至 34。
• YodaOS 系统版本不低于 v3.30.003。

3.2 场景搭建与配置

1. 添加核心组件：
   • 拖入 RKHand 预制体，保留 PokeInteractor 和 RayInteractor。
   • 开启 InteractorStateChange 脚本，设置 Near Field Threshold 为 0.8m，Gesture Confidence Filter 为 0.8。
2. 创建可抓取 Cube：
   • 创建 3D Object → Cube，挂载 Box Collider 和 RayInteractable 组件。
3. 开启骨骼可视化：
   • 选中 RightHandRender，勾选 SkeletonLine 组件，设置颜色以便调试。

3.3 核心脚本开发

创建脚本 UXR3_GrabLogic，挂载到 Cube 上。核心逻辑：获取手势类型 + 置信度，结合骨骼点实现捏合抓取、跟随、握拳释放。

using Rokid.UXR.Module;
using UnityEngine;

public class UXR3_GrabLogic : MonoBehaviour {
    [Header("UXR 3.0 抓取配置")]
    public HandType targetHand = HandType.RightHand;
    public float followSensitivity = 0.1f;
    public float minConfidence = 0.8f;
    
    private bool isGrabbed = false;
    private Vector3 lastPalmPos;
    private MeshRenderer cubeRenderer;

    void Start() {
        cubeRenderer = GetComponent<MeshRenderer>();
        cubeRenderer.material.color = Color.white;
        if (GesEventInput.Instance.IsHandDataValid(targetHand)) {
            lastPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;
        }
    }

    void Update() {
        if (!GesEventInput.Instance.IsHandDataValid(targetHand)) {
            if (isGrabbed) ReleaseCube();
            return;
        }

        GestureType currentGes = GesEventInput.Instance.GetGestureType(targetHand);
        float currentConf = GesEventInput.Instance.GetGestureConfidence(targetHand);

        if (currentConf < minConfidence) return;

        if (currentGes == GestureType.Pinch && !isGrabbed) {
            GrabCube();
        } else if (currentGes == GestureType.Grip && isGrabbed) {
            ReleaseCube();
        }

        if (isGrabbed) FollowPalm();
    }

    private void GrabCube() {
        isGrabbed = true;
        cubeRenderer.material.color = Color.red;
        lastPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;
    }

    private void ReleaseCube() {
        isGrabbed = false;
        cubeRenderer.material.color = Color.white;
    }

    private void FollowPalm() {
        Vector3 currentPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;
        Vector3 moveDelta = (currentPalmPos - lastPalmPos) * followSensitivity;
        transform.position += moveDelta;
        lastPalmPos = currentPalmPos;
    }
}

3.4 运行测试

1. 连接设备，Unity 中选择 Build And Run。
2. 验证骨骼可视化、抓取（变红跟随）、释放（变白停止）、远近场切换。

四、常见问题排查

问题 1：SDK 导入后找不到「RKInput」预制体

问题 2：真机运行后，Cube 不跟随手部移动

问题 3：打包 APK 后，手势无响应

问题 4：骨骼点不显示

1. 确认 HandRender 组件已启用。
2. 脚本中校验 IsHandDataValid 返回 true。
3. 调整 SkeletonLine 颜色以区分背景。

五、总结

Rokid 手势识别技术将复杂的底层能力封装为易用的工具。开发者可通过 UXR SDK 快速实现 AR 交互，如操控虚拟物体或趣味互动。合理配置环境与参数，即可发挥 AR 设备的潜力。