一、项目背景与创意起源
在居家健身场景中，缺乏专业指导导致动作不规范及运动损伤是普遍痛点。Rokid Glasses 作为轻量级 AR 眼镜，其'抬头即见'的交互方式为实时指导提供了硬件基础。通过 Rokid CXR-M SDK 的 AI 场景、自定义页面和提词器功能，可实现将专业教练'投射'到用户视野中，提供直观的数据反馈。
二、Rokid CXR-M SDK 相关
1. Rokid CXR-M SDK 介绍
CXR-M SDK 是面向移动端的开发工具包，主要用于构建手机端与 Rokid Glasses 的控制和协同应用。开发者可以通过 CXR-M SDK 与眼镜建立稳定连接，实现数据通信、实时音视频获取以及场景自定义。目前 CXR-M SDK 仅提供 Android 版本。
2. SDK 开发导入配置
1. 配置 Maven 仓库
CXR-M SDK 采用 Maven 在线管理 SDK Package。
Maven 仓库地址：https://maven.rokid.com/repository/maven-public/
找到 settings.gradle.kts，并在 dependencyResolutionManagement 节点的 repositories 中添加 Maven 仓库。
2. 依赖导入
CXR-M SDK Package (com.rokid.cxr:client-m:1.0.1-20250812.080117-2)。
在 build.gradle.kts 的 dependencies 节点中添加依赖。
注意：SDK 需要设置 minSdk≥28。
如果和项目中已有版本冲突，请优先选用 SDK 中对应的版本。
3. 权限申请
1. 声明权限
CXR-M SDK 需要申请网络、Wi-Fi、Bluetooth（蓝牙权限需要同步申请 FINE_LOCATION 权限）等权限，在 AndroidManifest.xml 中申请以下是最小权限集：
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools">
<uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION" />
<uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
<uses-permission android:name="android.permission.BLUETOOTH" />
<uses-permission android:name="android.permission.BLUETOOTH_ADMIN" />
<uses-permission android:name="android.permission.BLUETOOTH_CONNECT" />
<uses-permission android:name="android.permission.BLUETOOTH_SCAN" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
<uses-permission android:name="android.permission.INTERNET" />
</manifest>
2. 动态申请权限
在 CXR-M SDK 使用前，请先进行必要权限动态申请。注意在权限不足的情况下，SDK 将不可用。
示例：
class MainActivity : AppCompatActivity() {
companion object {
const val TAG = "MainActivity"
const val REQUEST_CODE_PERMISSIONS = 100
private val REQUIRED_PERMISSIONS = mutableListOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH,
Manifest.permission.BLUETOOTH_ADMIN,
).apply {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
add(Manifest.permission.BLUETOOTH_SCAN)
add(Manifest.permission.BLUETOOTH_CONNECT)
}
}.toTypedArray()
}
private val permissionGrantedResult = MutableLiveData<Boolean?>()
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
permissionGrantedResult.observe(this) { granted ->
if (it == true) {
// Permission All Granted
} else {
// Some Permission Denied or Not Started
}
}
}
override fun onRequestPermissionsResult(
requestCode: Int,
permissions: Array<out String>,
grantResults: IntArray
) {
super.onRequestPermissionsResult(requestCode, permissions, grantResults)
(requestCode == REQUEST_CODE_PERMISSIONS.hashCode()) {
allGranted = grantResults.all { it == PackageManager.PERMISSION_GRANTED }
permissionGrantedResult.postValue(allGranted)
}
}
}
三、技术架构设计
1. 整体架构
'形随心动'采用分层架构设计，确保系统稳定性和可扩展性：
应用层（Android App） → CXR-M SDK → Rokid Glasses（YodaOS） → 硬件传感器
- 应用层：提供用户界面、健身计划管理、社交功能
- CXR-M SDK：负责与 Rokid Glasses 的通信、AI 场景处理、AR 界面渲染
- Rokid Glasses：执行 AR 渲染、动作捕捉、数据反馈
- 硬件传感器：提供身体姿态、心率等数据
架构说明：
- 应用层：包含用户界面、健身计划管理、社交功能等业务逻辑
- CXR-M SDK：Rokid 提供的核心 SDK，负责与硬件通信和功能调用
- Rokid Glasses：硬件平台，执行 AR 渲染和传感器数据处理
- 硬件传感器：提供摄像头、IMU、心率等原始数据
- AR 界面：通过自定义页面实现的 AR 可视化展示
- AI 场景：利用 CXR-M SDK 的 AI 能力实现动作识别
- 自定义页面：用于创建 AR 交互界面的核心组件
- 社交互动模块：实现好友挑战、进度分享等功能
2. 核心组件设计
| 组件 | 功能 | SDK 实现方式 |
|---|---|---|
| 实时动作识别模块 | 通过摄像头捕捉用户动作，分析动作质量 | AI 场景、自定义页面 |
| 个性化计划模块 | 根据用户数据定制健身计划 | 自定义页面、数据同步 |
| AR 教练界面 | 3D 显示虚拟教练，实时指导动作 | 自定义页面、提词器 |
| 数据可视化模块 | 实时显示心率、消耗卡路里等数据 | 自定义页面、媒体操作 |
| 社交互动模块 | 支持好友挑战、进度分享 | 数据通信、自定义页面 |
核心组件交互关系图：
3. 架构设计优势
- 分层解耦设计：业务逻辑与硬件交互完全分离，各组件通过 SDK 接口通信。
- 硬件能力充分利用：摄像头用于动作捕捉，IMU 传感器辅助动作分析，AR 显示提供沉浸式体验。
- SDK 能力深度整合：AI 场景实现核心动作识别，自定义页面构建 AR 交互界面。
- 可扩展性设计：新功能只需新增模块，不影响现有架构。
实现关键点：
| 组件 | 关键技术点 | SDK 实现方式 | 实现难度 |
|---|---|---|---|
| 设备连接 | 蓝牙稳定连接 | CxrApi.getInstance().initBluetooth() | ★★☆ |
| AI 场景 | 动作识别与分析 | setAiEventListener() + controlScene() | ★★★★ |
| AR 界面 | 3D 指导界面渲染 | openCustomView() + JSON 布局 | ★★★ |
| 数据同步 | 实时数据传输 | sendStream() + setMediaFilesUpdateListener() | ★★ |
| 社交功能 | 好友挑战实现 | controlScene() + 数据通信 | ★★★ |
四、关键功能实现详解
1. 设备连接与初始化
首先，需要确保手机与 Rokid Glasses 稳定连接，这是所有功能的基础。
class FitnessApp : AppCompatActivity() {
private val REQUIRED_PERMISSIONS = mutableListOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH,
Manifest.permission.BLUETOOTH_ADMIN,
).apply {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
add(Manifest.permission.BLUETOOTH_SCAN)
add(Manifest.permission.BLUETOOTH_CONNECT)
}
}.toTypedArray()
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
if (!hasPermissions(REQUIRED_PERMISSIONS)) {
requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
} else {
initializeDeviceConnection()
}
}
private fun hasPermissions(permissions: Array<String>): Boolean {
return permissions.all { ContextCompat.checkSelfPermission(this, it) == PackageManager.PERMISSION_GRANTED }
}
private fun initializeDeviceConnection() {
val scanner = BluetoothLeScannerCompat.getScanner()
scanner.startScan(
listOf(ScanFilter.Builder()
.setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb"))
.build()),
ScanSettings.Builder().build(),
scanCallback
)
}
private val scanCallback = object : ScanCallback() {
override fun {
.onScanResult(callbackType, result)
device = result.device
CxrApi.getInstance().initBluetooth(, device, : BluetoothStatusCallback {
{
Log.d(, )
CxrApi.getInstance().connectBluetooth(, socketUuid, macAddress, )
}
{
Log.d(, )
initializeAiScene()
}
{
Log.e(, )
}
{
Log.e(, )
}
})
}
}
{
CxrApi.getInstance().setAiEventListener( : AiEventListener {
{
(eventType) {
ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
handleActionRecognition()
}
}
}
})
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, , )
}
}
2. 实时动作捕捉与纠正
利用 Rokid Glasses 的摄像头和 AI 能力，实时分析用户动作。
private fun startExercise(exerciseType: String) {
val actionParams = HashMap<String, String>()
actionParams["exerciseType"] = exerciseType
actionParams["threshold"] = "0.85"
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, true, actionParams)
CxrApi.getInstance().setAiEventListener(object : AiEventListener {
override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
when (eventType) {
ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
val recognitionResult = Gson().fromJson(data, ActionRecognitionResult::class.java)
if (recognitionResult.accuracy > 0.8) {
showPositiveFeedback(recognitionResult.exerciseName, "动作标准！")
} else {
showCorrectionFeedback(recognitionResult.exerciseName, recognitionResult.correctionMessage)
}
}
}
}
})
}
private fun showCorrectionFeedback(exerciseName: String, message: String) {
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.WORD_TIPS, true, null)
val text = "动作纠正：$message"
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.WORD_TIPS,
text.toByteArray(),
,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
{
arCoachJson =
CxrApi.getInstance().openCustomView(arCoachJson)
CxrApi.getInstance().setCustomViewListener( : CustomViewListener {
{
Log.d(, )
}
{
Log.d(, )
}
})
}
3. 个性化健身计划
根据用户输入的身体数据和健身目标，定制专属健身计划。
class PersonalizedPlanActivity : AppCompatActivity() {
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_personalized_plan)
val age = findViewById<EditText>(R.id.et_age).text.toString().toInt()
val weight = findViewById<EditText>(R.id.et_weight).text.toString().toFloat()
val height = findViewById<EditText>(R.id.et_height).text.toString().toFloat()
val goal = findViewById<Spinner>(R.id.spinner_goal).selectedItem.toString()
val plan = generatePersonalizedPlan(age, weight, height, goal)
displayPlan(plan)
savePlanToGlasses(plan)
}
private fun generatePersonalizedPlan(age: Int, weight: Float, height: Float, goal: String): Plan {
return Plan(
"30 天减脂计划",
listOf(
Exercise("深蹲", "3 组×15 次", "保持膝盖不超过脚尖", "squats"),
Exercise("平板支撑", "3 组×30 秒", "保持身体成直线", "plank"),
Exercise("跳绳", "3 组×2 分钟", "保持手腕放松", "jump_rope")
)
)
}
private fun savePlanToGlasses(plan: Plan) {
planJson = Gson().toJson(plan)
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.PERSONALIZED_PLAN,
planJson.toByteArray(),
,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
}
4. 数据可视化与实时反馈
将健身数据以 AR 形式展示，让用户无需低头即可获取关键信息。
class DataVisualizationActivity : AppCompatActivity() {
private var heartRate = 0
private var caloriesBurned = 0f
private var exerciseTime = 0
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_data_visualization)
setupARDataView()
startExerciseTimer()
startDataUpdates()
}
private fun setupARDataView() {
val dataViewJson = """{
"type": "LinearLayout",
"props": {
"layout_width": "match_parent",
"layout_height": "match_parent",
"orientation": "vertical",
"gravity": "center",
"backgroundColor": "#00000000"
},
"children": [
{
"type": "TextView",
"props": {
"id": "tv_heart_rate",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "心率：72",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold"
}
},
{
"type": "TextView",
"props": {
"id": "tv_calories",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "卡路里：0",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold",
"marginTop": "20dp"
}
},
{
"type": "TextView",
"props": {
"id": "tv_time",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "时间：00:00",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold",
"marginTop": "20dp"
}
}
]
}"""
CxrApi.getInstance().openCustomView(dataViewJson)
}
{
updateData = listOf(
UpdateAction(, , , ),
UpdateAction(, , , ),
UpdateAction(, , , )
)
CxrApi.getInstance().updateCustomView(Gson().toJson(updateData))
}
: String {
minutes = seconds /
remainingSeconds = seconds %
String.format(, minutes, remainingSeconds)
}
{
handler = Handler(Looper.getMainLooper())
handler.postDelayed( : Runnable {
{
heartRate = (heartRate + ).coerceAtMost()
caloriesBurned +=
exerciseTime +=
updateDataView()
handler.postDelayed(, )
}
}, )
}
{
startTime = System.currentTimeMillis()
timerHandler = Handler(Looper.getMainLooper())
timerHandler.postDelayed( : Runnable {
{
exerciseTime = ((System.currentTimeMillis() - startTime) / ).toInt()
updateDataView()
timerHandler.postDelayed(, )
}
}, )
}
}
5. 社交健身挑战
通过 Rokid Glasses 的社交功能，实现与好友的健身互动。
class ChallengeActivity : AppCompatActivity() {
private val challenges = mutableListOf<Challenge>(
Challenge("7 天深蹲挑战", "完成 7 天深蹲训练，每天 100 次", 7, 100),
Challenge("30 天心率挑战", "保持心率在 120-150 之间", 30, 0)
)
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_challenge)
setupChallengeList()
findViewById<Button>(R.id.btn_add_friend_challenge).setOnClickListener {
showAddFriendChallengeDialog()
}
}
private fun setupChallengeList() {
val adapter = ChallengeAdapter(challenges)
findViewById<RecyclerView>(R.id.rv_challenges).adapter = adapter
}
private fun showAddFriendChallengeDialog() {
val builder = AlertDialog.Builder(this)
builder.setTitle("添加好友挑战")
val input = EditText(this)
input.hint = "输入好友 ID"
builder.setView(input)
builder.setPositiveButton("确定") { _, _ ->
val friendId = input.text.toString()
createFriendChallenge(friendId)
}
builder.setNegativeButton("取消", null)
builder.show()
}
private {
challenge = Challenge(
,
,
,
)
saveChallengeToGlasses(challenge)
sendChallengeToFriend(friendId, challenge)
}
{
challengeJson = Gson().toJson(challenge)
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.CHALLENGE,
challengeJson.toByteArray(),
,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
{
Log.d(, )
Toast.makeText(, , Toast.LENGTH_SHORT).show()
}
}
五、挑战与解决方案
1. 动作识别精度问题
挑战：在实际环境中，由于光线变化和用户动作差异，AI 动作识别准确率有时不足。
解决方案：
- 采用多模态数据融合：结合摄像头和 Rokid Glasses 的传感器数据
- 实现动态阈值调整：根据用户身体特征自动调整识别阈值
- 添加用户反馈机制：允许用户确认或纠正 AI 识别结果
private fun adjustRecognitionThreshold(userProfile: UserProfile): Float {
return when {
userProfile.age < 25 -> 0.85f
userProfile.age < 40 -> 0.80f
else -> 0.75f
}
}
2. AR 界面流畅度优化
挑战：AR 界面在 Rokid Glasses 上运行时，帧率不稳定。
解决方案：
- 优化自定义页面 JSON 布局，减少不必要的元素
- 使用 CXR-M SDK 的
setCustomViewListener进行界面渲染优化 - 采用异步数据更新，避免阻塞主线程
CxrApi.getInstance().setCustomViewListener(object : CustomViewListener {
override fun onCustomViewOpened() {
CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.FAST)
}
override fun onCustomViewClosed() {
CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.DEFAULT)
}
})
3. 电池消耗问题
挑战：AR 应用长时间运行导致 Rokid Glasses 电池消耗过快。
解决方案：
- 实现智能功耗管理：根据使用场景动态调整功耗
- 添加自动休眠功能：用户停止运动一段时间后自动进入低功耗模式
- 优化数据传输：减少不必要的数据同步
CxrApi.getInstance().setPowerOffTimeout(30)
CxrApi.getInstance().setScreenOffTimeout(60)
val exerciseTimer = object : CountDownTimer(300000, 1000) {
override fun onTick(millisUntilFinished: Long) {}
override fun onFinish() {
CxrApi.getInstance().setGlassBrightness(3)
CxrApi.getInstance().setGlassVolume(2)
Toast.makeText(this@FitnessApp, "进入低功耗模式", Toast.LENGTH_SHORT).show()
}
}.start()
六、未来展望
未来将进一步拓展：
- AI 能力增强：集成更先进的动作识别模型，提升识别精度
- 内容生态扩展：与专业健身教练合作，提供更多高质量课程
- 硬件联动：与智能健身设备联动，获取更全面的运动数据
- 跨平台支持：拓展到更多 Rokid 硬件设备，形成完整的 AR 健身生态
