AR 健身应用开发：基于 Rokid CXR-M SDK 的实践落地

3. 权限申请

1. 声明权限

CXR-M SDK 需要申请网络、Wi-Fi、Bluetooth（蓝牙权限需要同步申请 FINE_LOCATION 权限）等权限，在 AndroidManifest.xml 中申请以下是最小权限集：

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools">
    <uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION" />
    <uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
    <uses-permission android:name="android.permission.BLUETOOTH" />
    <uses-permission android:name="android.permission.BLUETOOTH_ADMIN" />
    <uses-permission android:name="android.permission.BLUETOOTH_CONNECT" />
    <uses-permission android:name="android.permission.BLUETOOTH_SCAN" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
    <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
    <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
    <uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
    <uses-permission android:name="android.permission.INTERNET" />
    <application>
        <!--Other Settings-->
    </application>
</manifest>

2. 动态申请权限

在 CXR-M SDK 使用前，请先进行必要权限动态申请。注意在权限不足的情况下，SDK 将不可用。

示例：

class MainActivity : AppCompatActivity() {
    companion object {
        const val TAG = "MainActivity"
        // Request Code
        const val REQUEST_CODE_PERMISSIONS = 100
        // Required Permissions
        private val REQUIRED_PERMISSIONS = mutableListOf(
            Manifest.permission.ACCESS_FINE_LOCATION,
            Manifest.permission.BLUETOOTH,
            Manifest.permission.BLUETOOTH_ADMIN,
        ).apply {
            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
                add(Manifest.permission.BLUETOOTH_SCAN)
                add(Manifest.permission.BLUETOOTH_CONNECT)
            }
        }.toTypedArray()
    }
    
    // Permission
    private val permissionGrantedResult = MutableLiveData<Boolean?>()
    
    override fun onCreate(savedInstanceState: Bundle?) {
        // Other Code
        // Request Permissions
        permissionGrantedResult.postValue(null)
        requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
        
        // Observe Permission Result
        permissionGrantedResult.observe(this) { result ->
            if (it == true) {
                // Permission All Granted
            } else {
                // Some Permission Denied or Not Started
            }
        }
    }
    
    override fun onRequestPermissionsResult(
        requestCode: Int,
        permissions: Array<out String>,
        grantResults: IntArray
    ) {
        super.onRequestPermissionsResult(requestCode, permissions, grantResults)
        if (requestCode == REQUEST_CODE_PERMISSIONS.hashCode()) {
            val allGranted = grantResults.all { it == PackageManager.PERMISSION_GRANTED }
            permissionGrantedResult.postValue(allGranted)
        }
    }
}

三、技术架构设计

1. 整体架构

'形随心动'采用分层架构设计，确保系统稳定性和可扩展性：

应用层（Android App） → CXR-M SDK → Rokid Glasses（YodaOS） → 硬件传感器

• 应用层：提供用户界面、健身计划管理、社交功能
• CXR-M SDK：负责与 Rokid Glasses 的通信、AI 场景处理、AR 界面渲染
• Rokid Glasses：执行 AR 渲染、动作捕捉、数据反馈
• 硬件传感器：提供身体姿态、心率等数据

'形随心动'应用的整体技术架构：

架构说明：

• 应用层：包含用户界面、健身计划管理、社交功能等业务逻辑
• CXR-M SDK：Rokid 提供的核心 SDK，负责与硬件通信和功能调用
• Rokid Glasses：硬件平台，执行 AR 渲染和传感器数据处理
• 硬件传感器：提供摄像头、IMU、心率等原始数据
• AR 界面：通过自定义页面实现的 AR 可视化展示
• AI 场景：利用 CXR-M SDK 的 AI 能力实现动作识别
• 自定义页面：用于创建 AR 交互界面的核心组件
• 社交互动模块：实现好友挑战、进度分享等功能

CXR SDK 与 Glasses 架构

2. 核心组件设计

核心组件交互关系图：

3. 架构设计优势

1. 分层解耦设计：

   • 业务逻辑与硬件交互完全分离
   • 各组件通过 SDK 接口通信，降低耦合度
   • 方便后续功能扩展和维护

2. 硬件能力充分利用：

   • 摄像头：用于动作捕捉
   • IMU 传感器：辅助动作分析
   • AR 显示：提供沉浸式指导体验
   • 语音交互：实现自然的人机对话

3. SDK 能力深度整合：

   • AI 场景：实现核心动作识别功能
   • 自定义页面：构建 AR 交互界面
   • 提词器场景：实现简单文字指导
   • 数据通信：支持社交功能

4. 可扩展性设计：

   • 新功能只需新增模块，不影响现有架构
   • 通过 SDK 接口扩展，无需修改底层硬件
   • 支持未来硬件升级和新功能添加

实现关键点：

四、关键功能实现详解

1. 设备连接与初始化

首先，需要确保手机与 Rokid Glasses 稳定连接，这是所有功能的基础。

// 设备连接初始化
class FitnessApp : AppCompatActivity() {
    private val REQUIRED_PERMISSIONS = mutableListOf(
        Manifest.permission.ACCESS_FINE_LOCATION,
        Manifest.permission.BLUETOOTH,
        Manifest.permission.BLUETOOTH_ADMIN,
    ).apply {
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
            add(Manifest.permission.BLUETOOTH_SCAN)
            add(Manifest.permission.BLUETOOTH_CONNECT)
        }
    }.toTypedArray()

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        // 检查并请求必要权限
        if (!hasPermissions(REQUIRED_PERMISSIONS)) {
            requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
        } else {
            initializeDeviceConnection()
        }
    }

    private fun hasPermissions(permissions: Array<String>): Boolean {
        return permissions.all { ContextCompat.checkSelfPermission(this, it) == PackageManager.PERMISSION_GRANTED }
    }

    private fun initializeDeviceConnection() {
        // 查找 Rokid 设备
        val scanner = BluetoothLeScannerCompat.getScanner()
        scanner.startScan(
            listOf(
                ScanFilter.Builder()
                    .setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb"))
                    .build()
            ),
            ScanSettings.Builder().build(),
            scanCallback
        )
    }

    private val scanCallback = object : ScanCallback() {
        override fun onScanResult(callbackType: Int, result: ScanResult) {
            super.onScanResult(callbackType, result)
            val device = result.device
            // 找到设备后，初始化蓝牙连接
            CxrApi.getInstance().initBluetooth(this@FitnessApp, device, object : BluetoothStatusCallback {
                override fun onConnectionInfo(socketUuid: String?, macAddress: String?, rokidAccount: String?, glassesType: Int) {
                    Log.d("FitnessApp", "Connection info: $socketUuid, $macAddress, $rokenAccount, $glassesType")
                    // 初始化成功后，连接蓝牙
                    CxrApi.getInstance().connectBluetooth(this@FitnessApp, socketUuid, macAddress, this@FitnessApp)
                }
                override fun onConnected() {
                    Log.d("FitnessApp", "Bluetooth connected successfully")
                    // 连接成功后，初始化 AI 场景
                    initializeAiScene()
                }
                override fun onDisconnected() {
                    Log.e("FitnessApp", "Bluetooth disconnected")
                }
                override fun onFailed(errorCode: ValueUtil.CxrBluetoothErrorCode?) {
                    Log.e("FitnessApp", "Bluetooth connection failed: $errorCode")
                }
            })
        }
    }

    private fun initializeAiScene() {
        // 设置 AI 事件监听
        CxrApi.getInstance().setAiEventListener(object : AiEventListener {
            override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
                when (eventType) {
                    ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
                        // 处理动作识别结果
                        handleActionRecognition(data)
                    }
                    // 其他事件类型处理
                }
            }
        })
        // 启动 AI 场景
        CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, true, null)
    }
}

2. 实时动作捕捉与纠正

这是'形随心动'的核心功能，利用 Rokid Glasses 的摄像头和 AI 能力，实时分析用户动作。

// 动作识别与纠正实现
private fun startExercise(exerciseType: String) {
    // 设置动作识别参数
    val actionParams = HashMap<String, String>()
    actionParams["exerciseType"] = exerciseType
    actionParams["threshold"] = "0.85" // 识别阈值
    
    // 启动 AI 场景进行动作识别
    CxrApi.getInstance().controlScene(
        ValueUtil.CxrSceneType.AI_SCENE, true, actionParams
    )
    
    // 设置 AI 事件监听
    CxrApi.getInstance().setAiEventListener(object : AiEventListener {
        override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
            when (eventType) {
                ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
                    val recognitionResult = Gson().fromJson(data, ActionRecognitionResult::class.java)
                    if (recognitionResult.accuracy > 0.8) {
                        // 动作正确，显示正面反馈
                        showPositiveFeedback(recognitionResult.exerciseName, "动作标准！")
                    } else {
                        // 动作不标准，显示纠正提示
                        showCorrectionFeedback(recognitionResult.exerciseName, recognitionResult.correctionMessage)
                    }
                }
            }
        }
    })
}

private fun showCorrectionFeedback(exerciseName: String, message: String) {
    // 通过提词器场景显示纠正信息
    CxrApi.getInstance().controlScene(
        ValueUtil.CxrSceneType.WORD_TIPS, true, null
    )
    
    // 设置提词器文字
    val text = "动作纠正：$message"
    CxrApi.getInstance().sendStream(
        ValueUtil.CxrStreamType.WORD_TIPS, text.toByteArray(), "correction_text",
        object : SendStatusCallback {
            override fun onSendSucceed() {
                Log.d("FitnessApp", "Correction message sent successfully")
            }
            override fun onSendFailed(errorCode: ValueUtil.CxrSendErrorCode?) {
                Log.e("FitnessApp", "Failed to send correction message: $errorCode")
            }
        }
    )
}

// 自定义页面场景：AR 教练界面
private fun setupARCoachInterface() {
    // 创建 AR 教练界面的 JSON 布局
    val arCoachJson = """{
        "type": "LinearLayout",
        "props": {
            "layout_width": "match_parent",
            "layout_height": "match_parent",
            "orientation": "vertical",
            "gravity": "center_horizontal",
            "paddingTop": "140dp",
            "paddingBottom": "100dp",
            "backgroundColor": "#00000000"
        },
        "children": [
            {
                "type": "TextView",
                "props": {
                    "id": "tv_instruction",
                    "layout_width": "wrap_content",
                    "layout_height": "wrap_content",
                    "text": "请保持背部挺直",
                    "textSize": "18sp",
                    "textColor": "#FF00FF00",
                    "textStyle": "bold",
                    "marginBottom": "20dp"
                }
            },
            {
                "type": "TextView",
                "props": {
                    "id": "tv_count",
                    "layout_width": "wrap_content",
                    "layout_height": "wrap_content",
                    "text": "0/10",
                    "textSize": "24sp",
                    "textColor": "#FFFFFFFF",
                    "textStyle": "bold",
                    "marginBottom": "30dp"
                }
            }
        ]
    }"""
    
    // 打开自定义页面
    CxrApi.getInstance().openCustomView(arCoachJson)
    
    // 设置自定义页面状态监听
    CxrApi.getInstance().setCustomViewListener(object : CustomViewListener {
        override fun onCustomViewOpened() {
            Log.d("FitnessApp", "Custom view opened successfully")
        }
        override fun onCustomViewClosed() {
            Log.d("FitnessApp", "Custom view closed")
        }
    })
}

3. 个性化健身计划

根据用户输入的身体数据和健身目标，定制专属健身计划。

// 个性化健身计划实现
class PersonalizedPlanActivity : AppCompatActivity() {
    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_personalized_plan)
        
        // 获取用户输入数据
        val age = findViewById<EditText>(R.id.et_age).text.toString().toInt()
        val weight = findViewById<EditText>(R.id.et_weight).text.toString().toFloat()
        val height = findViewById<EditText>(R.id.et_height).text.toString().toFloat()
        val goal = findViewById<Spinner>(R.id.spinner_goal).selectedItem.toString()
        
        // 根据数据生成计划
        val plan = generatePersonalizedPlan(age, weight, height, goal)
        
        // 显示计划
        displayPlan(plan)
        
        // 保存计划到 Rokid Glasses
        savePlanToGlasses(plan)
    }

    private fun generatePersonalizedPlan(age: Int, weight: Float, height: Float, goal: String): Plan {
        // 实际应用中，这里会根据算法生成计划
        // 为简化示例，直接返回预设计划
        return Plan(
            "30 天减脂计划",
            listOf(
                Exercise("深蹲", "3 组×15 次", "保持膝盖不超过脚尖", "squats"),
                Exercise("平板支撑", "3 组×30 秒", "保持身体成直线", "plank"),
                Exercise("跳绳", "3 组×2 分钟", "保持手腕放松", "jump_rope")
            )
        )
    }

    private fun displayPlan(plan: Plan) {
        val planAdapter = PlanAdapter(plan.exercises)
        findViewById<RecyclerView>(R.id.rv_plan).adapter = planAdapter
    }

    private fun savePlanToGlasses(plan: Plan) {
        // 将计划数据发送到 Rokid Glasses
        val planJson = Gson().toJson(plan)
        CxrApi.getInstance().sendStream(
            ValueUtil.CxrStreamType.PERSONALIZED_PLAN, planJson.toByteArray(), "fitness_plan",
            object : SendStatusCallback {
                override fun onSendSucceed() {
                    Log.d("FitnessApp", "Plan sent to glasses successfully")
                }
                override fun onSendFailed(errorCode: ValueUtil.CxrSendErrorCode?) {
                    Log.e("FitnessApp", "Failed to send plan: $errorCode")
                }
            }
        )
    }
}

4. 数据可视化与实时反馈

将健身数据以 AR 形式展示，让用户无需低头即可获取关键信息。

// 数据可视化与实时反馈
class DataVisualizationActivity : AppCompatActivity() {
    private var heartRate = 0
    private var caloriesBurned = 0f
    private var exerciseTime = 0

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_data_visualization)
        
        // 初始化 AR 界面
        setupARDataView()
        
        // 开始计时
        startExerciseTimer()
        
        // 模拟数据更新
        startDataUpdates()
    }

    private fun setupARDataView() {
        // 创建 AR 数据视图的 JSON 布局
        val dataViewJson = """{
            "type": "LinearLayout",
            "props": {
                "layout_width": "match_parent",
                "layout_height": "match_parent",
                "orientation": "vertical",
                "gravity": "center",
                "backgroundColor": "#00000000"
            },
            "children": [
                {
                    "type": "TextView",
                    "props": {
                        "id": "tv_heart_rate",
                        "layout_width": "wrap_content",
                        "layout_height": "wrap_content",
                        "text": "心率：72",
                        "textSize": "20sp",
                        "textColor": "#FF00FF00",
                        "textStyle": "bold"
                    }
                },
                {
                    "type": "TextView",
                    "props": {
                        "id": "tv_calories",
                        "layout_width": "wrap_content",
                        "layout_height": "wrap_content",
                        "text": "卡路里：0",
                        "textSize": "20sp",
                        "textColor": "#FF00FF00",
                        "textStyle": "bold",
                        "marginTop": "20dp"
                    }
                },
                {
                    "type": "TextView",
                    "props": {
                        "id": "tv_time",
                        "layout_width": "wrap_content",
                        "layout_height": "wrap_content",
                        "text": "时间：00:00",
                        "textSize": "20sp",
                        "textColor": "#FF00FF00",
                        "textStyle": "bold",
                        "marginTop": "20dp"
                    }
                }
            ]
        }"""
        
        // 打开自定义页面
        CxrApi.getInstance().openCustomView(dataViewJson)
    }

    private fun updateDataView() {
        // 更新 AR 界面数据
        val updateData = listOf(
            UpdateAction("update", "tv_heart_rate", "text", "心率：$heartRate"),
            UpdateAction("update", "tv_calories", "text", "卡路里：$caloriesBurned"),
            UpdateAction("update", "tv_time", "text", "时间：${formatTime(exerciseTime)}")
        )
        CxrApi.getInstance().updateCustomView(Gson().toJson(updateData))
    }

    private fun formatTime(seconds: Int): String {
        val minutes = seconds / 60
        val remainingSeconds = seconds % 60
        return String.format("%02d:%02d", minutes, remainingSeconds)
    }

    private fun startDataUpdates() {
        // 每 2 秒更新一次数据
        val handler = Handler(Looper.getMainLooper())
        handler.postDelayed(object : Runnable {
            override fun run() {
                // 模拟数据更新
                heartRate = (heartRate + 2).coerceAtMost(160)
                caloriesBurned += 0.5f
                exerciseTime += 2
                updateDataView()
                handler.postDelayed(this, 2000)
            }
        }, 2000)
    }

    private fun startExerciseTimer() {
        // 开始健身计时
        val startTime = System.currentTimeMillis()
        // 每秒更新时间
        val timerHandler = Handler(Looper.getMainLooper())
        timerHandler.postDelayed(object : Runnable {
            override fun run() {
                exerciseTime = ((System.currentTimeMillis() - startTime) / 1000).toInt()
                updateDataView()
                timerHandler.postDelayed(this, 1000)
            }
        }, 1000)
    }
}

5. 社交健身挑战

通过 Rokid Glasses 的社交功能，实现与好友的健身互动。

// 社交健身挑战实现
class ChallengeActivity : AppCompatActivity() {
    private val challenges = mutableListOf<Challenge>(
        Challenge("7 天深蹲挑战", "完成 7 天深蹲训练，每天 100 次", 7, 100),
        Challenge("30 天心率挑战", "保持心率在 120-150 之间", 30, 0)
    )

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_challenge)
        
        // 显示挑战列表
        setupChallengeList()
        
        // 添加好友挑战
        findViewById<Button>(R.id.btn_add_friend_challenge).setOnClickListener {
            showAddFriendChallengeDialog()
        }
    }

    private fun setupChallengeList() {
        val adapter = ChallengeAdapter(challenges)
        findViewById<RecyclerView>(R.id.rv_challenges).adapter = adapter
    }

    private fun showAddFriendChallengeDialog() {
        val builder = AlertDialog.Builder(this)
        builder.setTitle("添加好友挑战")
        val input = EditText(this)
        input.hint = "输入好友 ID"
        builder.setView(input)
        builder.setPositiveButton("确定") { _, _ ->
            val friendId = input.text.toString()
            createFriendChallenge(friendId)
        }
        builder.setNegativeButton("取消", null)
        builder.show()
    }

    private fun createFriendChallenge(friendId: String) {
        // 创建好友挑战
        val challenge = Challenge(
            "与$friendId 的挑战",
            "一起完成 30 天健身挑战",
            30,
            0
        )
        
        // 保存挑战到 Rokid Glasses
        saveChallengeToGlasses(challenge)
        
        // 同步挑战到好友
        sendChallengeToFriend(friendId, challenge)
    }

    private fun saveChallengeToGlasses(challenge: Challenge) {
        val challengeJson = Gson().toJson(challenge)
        CxrApi.getInstance().sendStream(
            ValueUtil.CxrStreamType.CHALLENGE, challengeJson.toByteArray(), "challenge_${challenge.id}",
            object : SendStatusCallback {
                override fun onSendSucceed() {
                    Log.d("FitnessApp", "Challenge saved to glasses")
                }
                override fun onSendFailed(errorCode: ValueUtil.CxrSendErrorCode?) {
                    Log.e("FitnessApp", "Failed to save challenge: $errorCode")
                }
            }
        )
    }

    private fun sendChallengeToFriend(friendId: String, challenge: Challenge) {
        // 实际应用中，这里会通过 Rokid 社交 API 发送挑战
        // 为简化示例，直接模拟成功
        Log.d("FitnessApp", "Challenge sent to friend $friendId")
        // 显示成功提示
        Toast.makeText(this, "挑战已发送给好友 $friendId", Toast.LENGTH_SHORT).show()
    }
}

五、挑战与解决方案

1. 动作识别精度问题

挑战：在实际环境中，由于光线变化和用户动作差异，AI 动作识别准确率有时不足。

解决方案：

• 采用多模态数据融合：结合摄像头和 Rokid Glasses 的传感器数据
• 实现动态阈值调整：根据用户身体特征自动调整识别阈值
• 添加用户反馈机制：允许用户确认或纠正 AI 识别结果

// 动态阈值调整示例
private fun adjustRecognitionThreshold(userProfile: UserProfile): Float {
    return when {
        userProfile.age < 25 -> 0.85f
        userProfile.age < 40 -> 0.80f
        else -> 0.75f
    }
}

2. AR 界面流畅度优化

挑战：AR 界面在 Rokid Glasses 上运行时，帧率不稳定。

解决方案：

• 优化自定义页面 JSON 布局，减少不必要的元素
• 使用 CXR-M SDK 的 setCustomViewListener 进行界面渲染优化
• 采用异步数据更新，避免阻塞主线程

// 优化 AR 界面渲染
CxrApi.getInstance().setCustomViewListener(object : CustomViewListener {
    override fun onCustomViewOpened() {
        // 优化渲染
        CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.FAST)
    }
    override fun onCustomViewClosed() {
        // 恢复默认渲染模式
        CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.DEFAULT)
    }
})

3. 电池消耗问题

挑战：AR 应用长时间运行导致 Rokid Glasses 电池消耗过快。

解决方案：

• 实现智能功耗管理：根据使用场景动态调整功耗
• 添加自动休眠功能：用户停止运动一段时间后自动进入低功耗模式
• 优化数据传输：减少不必要的数据同步

// 智能功耗管理
CxrApi.getInstance().setPowerOffTimeout(30) // 30 分钟后自动关机
CxrApi.getInstance().setScreenOffTimeout(60) // 60 秒后屏幕关闭

// 自动休眠功能
val exerciseTimer = object : CountDownTimer(300000, 1000) { // 5 分钟
    override fun onTick(millisUntilFinished: Long) {
        // 更新休眠计时
    }
    override fun onFinish() {
        // 进入低功耗模式
        CxrApi.getInstance().setGlassBrightness(3) // 降低亮度
        CxrApi.getInstance().setGlassVolume(2) // 降低音量
        Toast.makeText(this@FitnessApp, "进入低功耗模式", Toast.LENGTH_SHORT).show()
    }
}.start()

六、未来展望

'形随心动'已经证明了 Rokid CXR-M SDK 在 AR 健身场景中的强大能力，未来我们将进一步拓展：

1. AI 能力增强：集成更先进的动作识别模型，提升识别精度
2. 内容生态扩展：与专业健身教练合作，提供更多高质量课程
3. 硬件联动：与智能健身设备联动，获取更全面的运动数据
4. 跨平台支持：拓展到更多 Rokid 硬件设备，形成完整的 AR 健身生态