AR 健身教练“形随心动”：基于 Rokid CXR-M SDK 的实战开发

运行时需在代码中动态请求权限，否则 SDK 将无法初始化。建议封装一个权限检查工具类，确保所有必要权限授予后再启动设备连接。

核心功能实现细节

1. 设备连接与初始化

连接是基础。我们需要扫描特定的蓝牙服务 UUID，建立稳定连接后回调初始化 AI 场景。

class FitnessApp : AppCompatActivity() {
    private val REQUIRED_PERMISSIONS = arrayOf(
        Manifest.permission.ACCESS_FINE_LOCATION,
        Manifest.permission.BLUETOOTH,
        Manifest.permission.BLUETOOTH_ADMIN
    )

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        if (hasPermissions(REQUIRED_PERMISSIONS)) {
            initializeDeviceConnection()
        } else {
            requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
        }
    }

    private fun initializeDeviceConnection() {
        val scanner = BluetoothLeScannerCompat.getScanner()
        scanner.startScan(
            listOf(ScanFilter.Builder()
                .setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb"))
                .build()),
            ScanSettings.Builder().build(),
            scanCallback
        )
    }

    private val scanCallback = object : ScanCallback() {
        override fun onScanResult(callbackType: Int, result: ScanResult) {
            val device = result.device
            CxrApi.getInstance().initBluetooth(this@FitnessApp, device, object : BluetoothStatusCallback {
                override fun onConnected() {
                    Log.d("FitnessApp", "Bluetooth connected successfully")
                    initializeAiScene()
                }
                // ... 其他回调省略
            })
        }
    }

    private fun initializeAiScene() {
        CxrApi.getInstance().setAiEventListener(object : AiEventListener {
            override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
                when (eventType) {
                    ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> handleActionRecognition(data)
                }
            }
        })
        CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, true, null)
    }
}

2. 实时动作捕捉与纠正

这是体验的核心。通过开启 AI 场景并设置阈值，SDK 会返回动作识别结果。如果准确率低于设定值，则触发纠正提示。

private fun startExercise(exerciseType: String) {
    val actionParams = HashMap<String, String>()
    actionParams["exerciseType"] = exerciseType
    actionParams["threshold"] = "0.85"
    
    // 启动 AI 场景进行动作识别
    CxrApi.getInstance().controlScene(
        ValueUtil.CxrSceneType.AI_SCENE, true, actionParams
    )

    CxrApi.getInstance().setAiEventListener(object : AiEventListener {
        override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
            when (eventType) {
                ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
                    val recognitionResult = Gson().fromJson(data, ActionRecognitionResult::class.java)
                    if (recognitionResult.accuracy > 0.8) {
                        showPositiveFeedback(recognitionResult.exerciseName, "动作标准！")
                    } else {
                        showCorrectionFeedback(recognitionResult.exerciseName, recognitionResult.correctionMessage)
                    }
                }
            }
        }
    })
}

private fun showCorrectionFeedback(exerciseName: String, message: String) {
    // 通过提词器场景显示纠正信息
    CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.WORD_TIPS, true, null)
    val text = "动作纠正：$message"
    CxrApi.getInstance().sendStream(
        ValueUtil.CxrStreamType.WORD_TIPS, text.toByteArray(), "correction_text",
        object : SendStatusCallback {
            override fun onSendSucceed() { /* 发送成功 */ }
            override fun onSendFailed(errorCode: ValueUtil.CxrSendErrorCode?) { /* 处理失败 */ }
        }
    )
}

3. AR 界面渲染与数据可视化

使用 JSON 布局定义自定义页面，可以在眼镜端渲染出悬浮的文字或图形。这种方式比原生 View 更轻量，适合 AR 叠加展示。

private fun setupARCoachInterface() {
    val arCoachJson = """
    {
      "type": "LinearLayout",
      "props": {
        "layout_width": "match_parent",
        "layout_height": "match_parent",
        "orientation": "vertical",
        "gravity": "center_horizontal",
        "paddingTop": "140dp",
        "backgroundColor": "#00000000"
      },
      "children": [
        {
          "type": "TextView",
          "props": {
            "id": "tv_instruction",
            "text": "请保持背部挺直",
            "textSize": "18sp",
            "textColor": "#FF00FF00"
          }
        },
        {
          "type": "TextView",
          "props": {
            "id": "tv_count",
            "text": "0/10",
            "textSize": "24sp",
            "textColor": "#FFFFFFFF"
          }
        }
      ]
    }
    """.trimIndent()

    CxrApi.getInstance().openCustomView(arCoachJson)
    CxrApi.getInstance().setCustomViewListener(object : CustomViewListener {
        override fun onCustomViewOpened() { Log.d("FitnessApp", "Custom view opened") }
        override fun onCustomViewClosed() { Log.d("FitnessApp", "Custom view closed") }
    })
}

对于心率、卡路里等实时数据，可以通过 updateCustomView 接口动态更新 JSON 中的文本内容，避免频繁重建整个视图，提升性能。

4. 社交挑战与个性化计划

支持将健身计划或挑战任务同步到眼镜端，甚至分享给好友。数据通过 sendStream 传输，格式化为 JSON 即可。

private fun savePlanToGlasses(plan: Plan) {
    val planJson = Gson().toJson(plan)
    CxrApi.getInstance().sendStream(
        ValueUtil.CxrStreamType.PERSONALIZED_PLAN, planJson.toByteArray(), "fitness_plan",
        object : SendStatusCallback {
            override fun onSendSucceed() { Log.d("FitnessApp", "Plan sent to glasses") }
            override fun onSendFailed(errorCode: ValueUtil.CxrSendErrorCode?) { /* 处理错误 */ }
        }
    )
}

遇到的挑战与优化方案

1. 动作识别精度波动

光线变化或用户体型差异会影响 AI 模型表现。我们采用了动态阈值调整策略，根据用户年龄和过往数据自动修正识别灵敏度，并增加了用户手动确认机制来校准模型。

2. AR 界面流畅度

早期测试发现复杂 JSON 布局会导致帧率下降。优化方向包括减少自定义页面的 DOM 层级，优先使用 FAST 渲染模式，并将数据更新改为异步队列处理，避免阻塞主线程。

CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.FAST)

3. 功耗管理

长时间 AR 渲染对电池压力较大。我们在应用中加入了智能休眠逻辑，当检测到用户停止运动超过一定时间，自动降低屏幕亮度或进入低功耗模式，平衡体验与续航。

总结

通过深度整合 CXR-M SDK 的 AI 场景、自定义页面和提词器功能，我们验证了 AR 技术在居家健身场景中的落地可行性。从设备连接、动作识别到实时反馈，这套方案不仅解决了传统健身 APP 的交互痛点，也为开发者提供了清晰的实践路径。未来随着 SDK 能力的迭代，AR 健身生态还有更大的拓展空间。