一、项目背景与创意起源
在居家健身场景中,缺乏专业指导导致动作不规范及运动损伤是普遍痛点。Rokid Glasses 作为轻量级 AR 眼镜,其'抬头即见'的交互方式为实时指导提供了硬件基础。通过 Rokid CXR-M SDK 的 AI 场景、自定义页面和提词器功能,可实现将专业教练'投射'到用户视野中,提供直观的数据反馈。


二、Rokid CXR-M SDK 相关
1. Rokid CXR-M SDK 介绍
CXR-M SDK 是面向移动端的开发工具包,主要用于构建手机端与 Rokid Glasses 的控制和协同应用。开发者可以通过 CXR-M SDK 与眼镜建立稳定连接,实现数据通信、实时音视频获取以及场景自定义。目前 CXR-M SDK 仅提供 Android 版本。
2. SDK 开发导入配置
1. 配置 Maven 仓库
CXR-M SDK 采用 Maven 在线管理 SDK Package。
Maven 仓库地址:https://maven.rokid.com/repository/maven-public/
找到 settings.gradle.kts,并在 dependencyResolutionManagement 节点的 repositories 中添加 Maven 仓库。

2. 依赖导入
CXR-M SDK Package (com.rokid.cxr:client-m:1.0.1-20250812.080117-2)。
在 build.gradle.kts 的 dependencies 节点中添加依赖。
注意:SDK 需要设置 minSdk≥28。
如果和项目中已有版本冲突,请优先选用 SDK 中对应的版本。

3. 权限申请
1. 声明权限
CXR-M SDK 需要申请网络、Wi-Fi、Bluetooth(蓝牙权限需要同步申请 FINE_LOCATION 权限)等权限,在 AndroidManifest.xml 中申请以下是最小权限集:
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools">
<uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION" />
<uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
<uses-permission android:name="android.permission.BLUETOOTH" />
<uses-permission android:name="android.permission.BLUETOOTH_ADMIN" />
<uses-permission android:name="android.permission.BLUETOOTH_CONNECT" />
<uses-permission android:name="android.permission.BLUETOOTH_SCAN" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
<uses-permission android:name="android.permission.INTERNET" />
</manifest>
2. 动态申请权限
在 CXR-M SDK 使用前,请先进行必要权限动态申请。注意在权限不足的情况下,SDK 将不可用。
示例:
class MainActivity : AppCompatActivity() {
companion object {
const val TAG = "MainActivity"
const val REQUEST_CODE_PERMISSIONS = 100
private val REQUIRED_PERMISSIONS = mutableListOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH,
Manifest.permission.BLUETOOTH_ADMIN,
).apply {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
add(Manifest.permission.BLUETOOTH_SCAN)
add(Manifest.permission.BLUETOOTH_CONNECT)
}
}.toTypedArray()
}
private val permissionGrantedResult = MutableLiveData<Boolean?>()
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
permissionGrantedResult.observe(this) { granted ->
if (it == true) {
// Permission All Granted
} else {
// Some Permission Denied or Not Started
}
}
}
override fun onRequestPermissionsResult(
requestCode: Int,
permissions: Array<out String>,
grantResults: IntArray
) {
super.onRequestPermissionsResult(requestCode, permissions, grantResults)
(requestCode == REQUEST_CODE_PERMISSIONS.hashCode()) {
allGranted = grantResults.all { it == PackageManager.PERMISSION_GRANTED }
permissionGrantedResult.postValue(allGranted)
}
}
}
三、技术架构设计
1. 整体架构
'形随心动'采用分层架构设计,确保系统稳定性和可扩展性:
应用层(Android App) → CXR-M SDK → Rokid Glasses(YodaOS) → 硬件传感器
- 应用层:提供用户界面、健身计划管理、社交功能
- CXR-M SDK:负责与 Rokid Glasses 的通信、AI 场景处理、AR 界面渲染
- Rokid Glasses:执行 AR 渲染、动作捕捉、数据反馈
- 硬件传感器:提供身体姿态、心率等数据
架构说明:
- 应用层:包含用户界面、健身计划管理、社交功能等业务逻辑
- CXR-M SDK:Rokid 提供的核心 SDK,负责与硬件通信和功能调用
- Rokid Glasses:硬件平台,执行 AR 渲染和传感器数据处理
- 硬件传感器:提供摄像头、IMU、心率等原始数据
- AR 界面:通过自定义页面实现的 AR 可视化展示
- AI 场景:利用 CXR-M SDK 的 AI 能力实现动作识别
- 自定义页面:用于创建 AR 交互界面的核心组件
- 社交互动模块:实现好友挑战、进度分享等功能


2. 核心组件设计
| 组件 | 功能 | SDK 实现方式 |
|---|---|---|
| 实时动作识别模块 | 通过摄像头捕捉用户动作,分析动作质量 | AI 场景、自定义页面 |
| 个性化计划模块 | 根据用户数据定制健身计划 | 自定义页面、数据同步 |
| AR 教练界面 | 3D 显示虚拟教练,实时指导动作 | 自定义页面、提词器 |
| 数据可视化模块 | 实时显示心率、消耗卡路里等数据 | 自定义页面、媒体操作 |
| 社交互动模块 | 支持好友挑战、进度分享 | 数据通信、自定义页面 |
核心组件交互关系图:

3. 架构设计优势
- 分层解耦设计:业务逻辑与硬件交互完全分离,各组件通过 SDK 接口通信。
- 硬件能力充分利用:摄像头用于动作捕捉,IMU 传感器辅助动作分析,AR 显示提供沉浸式体验。
- SDK 能力深度整合:AI 场景实现核心动作识别,自定义页面构建 AR 交互界面。
- 可扩展性设计:新功能只需新增模块,不影响现有架构。
实现关键点:
| 组件 | 关键技术点 | SDK 实现方式 | 实现难度 |
|---|---|---|---|
| 设备连接 | 蓝牙稳定连接 | CxrApi.getInstance().initBluetooth() | ★★☆ |
| AI 场景 | 动作识别与分析 | setAiEventListener() + controlScene() | ★★★★ |
| AR 界面 | 3D 指导界面渲染 | openCustomView() + JSON 布局 | ★★★ |
| 数据同步 | 实时数据传输 | sendStream() + setMediaFilesUpdateListener() | ★★ |
| 社交功能 | 好友挑战实现 | controlScene() + 数据通信 | ★★★ |
四、关键功能实现详解
1. 设备连接与初始化
首先,需要确保手机与 Rokid Glasses 稳定连接,这是所有功能的基础。
class FitnessApp : AppCompatActivity() {
private val REQUIRED_PERMISSIONS = mutableListOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH,
Manifest.permission.BLUETOOTH_ADMIN,
).apply {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
add(Manifest.permission.BLUETOOTH_SCAN)
add(Manifest.permission.BLUETOOTH_CONNECT)
}
}.toTypedArray()
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
if (!hasPermissions(REQUIRED_PERMISSIONS)) {
requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
} else {
initializeDeviceConnection()
}
}
private fun hasPermissions(permissions: Array<String>): Boolean {
return permissions.all { ContextCompat.checkSelfPermission(this, it) == PackageManager.PERMISSION_GRANTED }
}
private fun initializeDeviceConnection() {
val scanner = BluetoothLeScannerCompat.getScanner()
scanner.startScan(
listOf(ScanFilter.Builder()
.setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb"))
.build()),
ScanSettings.Builder().build(),
scanCallback
)
}
private val scanCallback = object : ScanCallback() {
override fun {
.onScanResult(callbackType, result)
device = result.device
CxrApi.getInstance().initBluetooth(, device, : BluetoothStatusCallback {
{
Log.d(, )
CxrApi.getInstance().connectBluetooth(, socketUuid, macAddress, )
}
{
Log.d(, )
initializeAiScene()
}
{
Log.e(, )
}
{
Log.e(, )
}
})
}
}
{
CxrApi.getInstance().setAiEventListener( : AiEventListener {
{
(eventType) {
ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
handleActionRecognition()
}
}
}
})
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, , )
}
}
2. 实时动作捕捉与纠正
利用 Rokid Glasses 的摄像头和 AI 能力,实时分析用户动作。
private fun startExercise(exerciseType: String) {
val actionParams = HashMap<String, String>()
actionParams["exerciseType"] = exerciseType
actionParams["threshold"] = "0.85"
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, true, actionParams)
CxrApi.getInstance().setAiEventListener(object : AiEventListener {
override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
when (eventType) {
ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
val recognitionResult = Gson().fromJson(data, ActionRecognitionResult::class.java)
if (recognitionResult.accuracy > 0.8) {
showPositiveFeedback(recognitionResult.exerciseName, "动作标准!")
} else {
showCorrectionFeedback(recognitionResult.exerciseName, recognitionResult.correctionMessage)
}
}
}
}
})
}
private fun showCorrectionFeedback(exerciseName: String, message: String) {
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.WORD_TIPS, true, null)
val text = "动作纠正:$message"
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.WORD_TIPS,
text.toByteArray(),
,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
{
arCoachJson =
CxrApi.getInstance().openCustomView(arCoachJson)
CxrApi.getInstance().setCustomViewListener( : CustomViewListener {
{
Log.d(, )
}
{
Log.d(, )
}
})
}
3. 个性化健身计划
根据用户输入的身体数据和健身目标,定制专属健身计划。
class PersonalizedPlanActivity : AppCompatActivity() {
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_personalized_plan)
val age = findViewById<EditText>(R.id.et_age).text.toString().toInt()
val weight = findViewById<EditText>(R.id.et_weight).text.toString().toFloat()
val height = findViewById<EditText>(R.id.et_height).text.toString().toFloat()
val goal = findViewById<Spinner>(R.id.spinner_goal).selectedItem.toString()
val plan = generatePersonalizedPlan(age, weight, height, goal)
displayPlan(plan)
savePlanToGlasses(plan)
}
private fun generatePersonalizedPlan(age: Int, weight: Float, height: Float, goal: String): Plan {
return Plan(
"30 天减脂计划",
listOf(
Exercise("深蹲", "3 组×15 次", "保持膝盖不超过脚尖", "squats"),
Exercise("平板支撑", "3 组×30 秒", "保持身体成直线", "plank"),
Exercise("跳绳", "3 组×2 分钟", "保持手腕放松", "jump_rope")
)
)
}
private fun savePlanToGlasses(plan: Plan) {
planJson = Gson().toJson(plan)
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.PERSONALIZED_PLAN,
planJson.toByteArray(),
,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
}
4. 数据可视化与实时反馈
将健身数据以 AR 形式展示,让用户无需低头即可获取关键信息。
class DataVisualizationActivity : AppCompatActivity() {
private var heartRate = 0
private var caloriesBurned = 0f
private var exerciseTime = 0
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_data_visualization)
setupARDataView()
startExerciseTimer()
startDataUpdates()
}
private fun setupARDataView() {
val dataViewJson = """{
"type": "LinearLayout",
"props": {
"layout_width": "match_parent",
"layout_height": "match_parent",
"orientation": "vertical",
"gravity": "center",
"backgroundColor": "#00000000"
},
"children": [
{
"type": "TextView",
"props": {
"id": "tv_heart_rate",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "心率:72",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold"
}
},
{
"type": "TextView",
"props": {
"id": "tv_calories",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "卡路里:0",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold",
"marginTop": "20dp"
}
},
{
"type": "TextView",
"props": {
"id": "tv_time",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "时间:00:00",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold",
"marginTop": "20dp"
}
}
]
}"""
CxrApi.getInstance().openCustomView(dataViewJson)
}
{
updateData = listOf(
UpdateAction(, , , ),
UpdateAction(, , , ),
UpdateAction(, , , )
)
CxrApi.getInstance().updateCustomView(Gson().toJson(updateData))
}
: String {
minutes = seconds /
remainingSeconds = seconds %
String.format(, minutes, remainingSeconds)
}
{
handler = Handler(Looper.getMainLooper())
handler.postDelayed( : Runnable {
{
heartRate = (heartRate + ).coerceAtMost()
caloriesBurned +=
exerciseTime +=
updateDataView()
handler.postDelayed(, )
}
}, )
}
{
startTime = System.currentTimeMillis()
timerHandler = Handler(Looper.getMainLooper())
timerHandler.postDelayed( : Runnable {
{
exerciseTime = ((System.currentTimeMillis() - startTime) / ).toInt()
updateDataView()
timerHandler.postDelayed(, )
}
}, )
}
}
5. 社交健身挑战
通过 Rokid Glasses 的社交功能,实现与好友的健身互动。
class ChallengeActivity : AppCompatActivity() {
private val challenges = mutableListOf<Challenge>(
Challenge("7 天深蹲挑战", "完成 7 天深蹲训练,每天 100 次", 7, 100),
Challenge("30 天心率挑战", "保持心率在 120-150 之间", 30, 0)
)
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_challenge)
setupChallengeList()
findViewById<Button>(R.id.btn_add_friend_challenge).setOnClickListener {
showAddFriendChallengeDialog()
}
}
private fun setupChallengeList() {
val adapter = ChallengeAdapter(challenges)
findViewById<RecyclerView>(R.id.rv_challenges).adapter = adapter
}
private fun showAddFriendChallengeDialog() {
val builder = AlertDialog.Builder(this)
builder.setTitle("添加好友挑战")
val input = EditText(this)
input.hint = "输入好友 ID"
builder.setView(input)
builder.setPositiveButton("确定") { _, _ ->
val friendId = input.text.toString()
createFriendChallenge(friendId)
}
builder.setNegativeButton("取消", null)
builder.show()
}
private {
challenge = Challenge(
,
,
,
)
saveChallengeToGlasses(challenge)
sendChallengeToFriend(friendId, challenge)
}
{
challengeJson = Gson().toJson(challenge)
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.CHALLENGE,
challengeJson.toByteArray(),
,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
{
Log.d(, )
Toast.makeText(, , Toast.LENGTH_SHORT).show()
}
}
五、挑战与解决方案
1. 动作识别精度问题
挑战:在实际环境中,由于光线变化和用户动作差异,AI 动作识别准确率有时不足。
解决方案:
- 采用多模态数据融合:结合摄像头和 Rokid Glasses 的传感器数据
- 实现动态阈值调整:根据用户身体特征自动调整识别阈值
- 添加用户反馈机制:允许用户确认或纠正 AI 识别结果
private fun adjustRecognitionThreshold(userProfile: UserProfile): Float {
return when {
userProfile.age < 25 -> 0.85f
userProfile.age < 40 -> 0.80f
else -> 0.75f
}
}
2. AR 界面流畅度优化
挑战:AR 界面在 Rokid Glasses 上运行时,帧率不稳定。
解决方案:
- 优化自定义页面 JSON 布局,减少不必要的元素
- 使用 CXR-M SDK 的
setCustomViewListener进行界面渲染优化 - 采用异步数据更新,避免阻塞主线程
CxrApi.getInstance().setCustomViewListener(object : CustomViewListener {
override fun onCustomViewOpened() {
CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.FAST)
}
override fun onCustomViewClosed() {
CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.DEFAULT)
}
})
3. 电池消耗问题
挑战:AR 应用长时间运行导致 Rokid Glasses 电池消耗过快。
解决方案:
- 实现智能功耗管理:根据使用场景动态调整功耗
- 添加自动休眠功能:用户停止运动一段时间后自动进入低功耗模式
- 优化数据传输:减少不必要的数据同步
CxrApi.getInstance().setPowerOffTimeout(30)
CxrApi.getInstance().setScreenOffTimeout(60)
val exerciseTimer = object : CountDownTimer(300000, 1000) {
override fun onTick(millisUntilFinished: Long) {}
override fun onFinish() {
CxrApi.getInstance().setGlassBrightness(3)
CxrApi.getInstance().setGlassVolume(2)
Toast.makeText(this@FitnessApp, "进入低功耗模式", Toast.LENGTH_SHORT).show()
}
}.start()
六、未来展望
未来将进一步拓展:
- AI 能力增强:集成更先进的动作识别模型,提升识别精度
- 内容生态扩展:与专业健身教练合作,提供更多高质量课程
- 硬件联动:与智能健身设备联动,获取更全面的运动数据
- 跨平台支持:拓展到更多 Rokid 硬件设备,形成完整的 AR 健身生态




