技术栈：Android / Kotlin / Rokid CXR-M SDK v1.0.1 应用场景：工业巡检、远程专家指导、AR 辅助教学
一、缘起：为何要做这个应用？
在 AR 与 AI 领域，我们一直关注如何让智能眼镜从'炫技玩具'转变为真正的生产力工具。Rokid Glasses 凭借轻量化设计、YodaOS-Sprite 系统和开放的 SDK 生态，为这一目标提供了坚实基础。
在一次与电力巡检企业的交流中，一线工人常面临如下痛点：现场问题复杂需专家判断但无法实时到场；电话描述不清且拍照上传延迟高；新员工缺乏实时可视化指导。这促使我们思考：能否基于 Rokid CXR-M SDK，开发一个运行在 Android 手机端的'AI 远程协作助手'App？该 App 通过蓝牙/Wi-Fi 与眼镜深度协同，实现第一视角视频流、语音对讲、AR 标注及智能提词的一体化体验。
本文将完整记录从需求分析、架构设计、SDK 集成到核心功能实现的全过程，希望能提供可复用的技术路径。
二、整体架构设计
2.1 功能模块划分
应用主要包含三大核心模块：
- 设备连接与状态管理：支持蓝牙/Wi-Fi 双通道连接，监控电量、亮度及音量；
- 实时协作引擎：处理第一视角拍照/录像、语音流传输及远程控制；
- AI 增强场景：集成提词器、翻译及自定义 UI 指令面板。
2.2 技术架构图（Mermaid）
手机端作为中枢，既控制眼镜又连接云端，实现端 - 边 - 云协同。
三、开发环境准备与 SDK 集成
3.1 环境配置
- Android Studio Iguana (2023.2.1+)
- Target SDK: 34, Min SDK: 28 (CXR-M 要求)
- Kotlin 1.9+
3.2 添加 Maven 仓库与依赖
在 settings.gradle.kts 中添加 Rokid 私有仓库：
dependencyResolutionManagement {
repositoriesMode.set(RepositoriesMode.FAIL_ON_PROJECT_REPOS)
repositories {
maven { url = uri("https://maven.rokid.com/repository/maven-public/") }
google()
mavenCentral()
}
}
在 build.gradle.kts 中导入 SDK：
android {
defaultConfig {
minSdk = 28
}
}
dependencies {
implementation("com.rokid.cxr:client-m:1.0.1-20250812.080117-2")
// 其他兼容依赖
}
3.3 权限声明与动态申请
在 AndroidManifest.xml 中声明必要权限：
<uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
<uses-permission android:name="android.permission.BLUETOOTH" />
<uses-permission android:name="android.permission.BLUETOOTH_CONNECT" />
<uses-permission android:name="android.permission.BLUETOOTH_SCAN" />
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
动态申请权限是关键步骤，务必前置处理，否则 SDK 初始化会失败：
private val REQUIRED_PERMISSIONS = arrayOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH_CONNECT,
Manifest.permission.BLUETOOTH_SCAN
)
private fun requestPermissionsIfNeeded() {
val denied = REQUIRED_PERMISSIONS.filter {
ContextCompat.checkSelfPermission(this, it) != PackageManager.PERMISSION_GRANTED
}
if (denied.isNotEmpty()) {
ActivityCompat.requestPermissions(this, denied.toTypedArray(), 100)
} else {
initBluetoothHelper()
}
}
四、核心功能实现详解
4.1 设备连接：蓝牙 + Wi-Fi 双通道
4.1.1 蓝牙连接流程
- 扫描设备（使用 Rokid 专属 UUID）：
ScanFilter.Builder()
.setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb"))
.build()
- 初始化蓝牙通信：
CxrApi.getInstance().initBluetooth(context, device, callback)
- 建立 Socket 连接：
CxrApi.getInstance().connectBluetooth(context, uuid, mac, callback)
4.1.2 Wi-Fi P2P 高速通道
用于媒体文件同步（如高清照片/视频），策略是蓝牙负责低延迟控制指令（<100ms），Wi-Fi 负责高带宽媒体传输。
// 初始化 Wi-Fi P2P
CxrApi.getInstance().initWifiP2P(object : WifiP2PStatusCallback {
override fun onConnected() {
Log.d("WiFi", "P2P connected, ready for file sync")
}
override fun onFailed(errorCode: ValueUtil.CxrWifiErrorCode?) {
Log.e("WiFi", "P2P failed: $errorCode")
}
})
4.2 实时协作功能实现
4.2.1 第一视角拍照（AI 场景模式）
当远程专家请求查看设备铭牌时，触发高清拍照。无需用户操作眼镜，手机端一键触发，结果实时回传。
// 打开相机（1920x1080, 质量 80）
CxrApi.getInstance().openGlassCamera(1920, 1080, 80)
// 拍照并回调 WebP 数据
CxrApi.getInstance().takeGlassPhoto(1920, 1080, 80, object : PhotoResultCallback {
override fun onPhotoResult(status: ValueUtil.CxrStatus?, photo: ByteArray?) {
if (status == ValueUtil.CxrStatus.RESPONSE_SUCCEED) {
// 通过 WebSocket 发送给专家端
sendToExpert(photo)
}
}
})
4.2.2 实时语音流（专家对讲）
开启 PCM 格式音频流，编码后推流。
// 设置监听器
CxrApi.getInstance().setAudioStreamListener(audioStreamListener)
// 开启录音（streamType = "remote_assist"）
CxrApi.getInstance().openAudioRecord(1, "remote_assist")
// 回调中处理音频数据
override fun onAudioStream(data: ByteArray?, offset: Int, length: Int) {
audioEncoder.encodeAndSend(data, offset, length)
}
4.2.3 远程控制眼镜状态
专家可远程调节眼镜参数，如亮度、音量及自动熄屏时间。
// 设置亮度（0-15）
CxrApi.getInstance().setGlassBrightness(12)
// 设置音量
CxrApi.getInstance().setGlassVolume(10)
// 设置自动熄屏（300 秒）
CxrApi.getInstance().setScreenOffTimeout(300)
4.3 AI 增强场景落地
4.3.1 智能提词器：操作指引自动化
在新员工培训场景，自动推送操作步骤。结合 ASR 实现'语音触发滚动'，解放双手。
// 打开提词器
CxrApi.getInstance().controlScene(CxrSceneType.WORD_TIPS, true, null)
// 配置样式（AI 模式，自动滚动）
CxrApi.getInstance().configWordTipsText(
textSize = 18f,
lineSpace = 1.2f,
mode = "ai",
startPointX = 0,
startPointY = 200,
width = 800,
height = 400
)
// 发送文本
val steps = "1. 关闭电源\n2. 拆卸外壳\n3. 检查电容..."
CxrApi.getInstance().sendStream(
CxrStreamType.WORD_TIPS,
steps.toByteArray(),
"guide_001.txt",
callback
)
4.3.2 自定义 UI：远程标注面板
专家可在 Web 端绘制箭头或文字，实时显示在眼镜上。手机端接收 JSON 格式的标注指令并更新自定义页面。
- 手机端接收标注指令：
{"action":"update","id":"annotation_text","props":{"text":"此处有裂纹！"}}
- 更新自定义页面：
CxrApi.getInstance().updateCustomView(jsonString)
- 页面初始化 JSON（含 TextView + ImageView）：
{
"type": "LinearLayout",
"props": {"layout_width": "match_parent", "orientation": "vertical"},
"children": [
{
"type": "TextView",
"props": {"id": "annotation_text", "text": "等待指令...", "textColor": "#FF00FF00"}
}
]
}
效果上，专家说'看左边螺丝'，眼镜立即显示红色箭头指向目标位置。
五、关键问题与解决方案
5.1 蓝牙连接不稳定？
现象：Android 12+ 后台扫描受限。 解决：
- 使用前台服务（Foreground Service）维持扫描；
- 添加 BLUETOOTH_CONNECT 和 BLUETOOTH_SCAN 精准权限；
- 连接成功后立即绑定到服务，避免被系统回收。
5.2 Wi-Fi P2P 同步失败？
现象：部分手机 Wi-Fi Direct 兼容性差。 解决：
- 连接前检查
WifiP2pManager.isWifiP2pSupported()； - 失败时自动降级为蓝牙传输小文件（<1MB）；
- 提供手动重试按钮。
5.3 自定义 UI 渲染卡顿？
现象：复杂布局导致眼镜端 FPS 下降。 优化：
- 控件总数控制在 10 以内；
- 图片分辨率不超过 128x128，Base64 预加载；
- 使用
updateCustomView局部刷新，而非全量重建。
六、应用效果与用户反馈
我们将原型部署到某变电站进行为期两周的试用，结果显示：
- 效率提升：平均故障处理时间缩短 40%；
- 错误率下降：新员工操作失误减少 65%；
- 用户体验：90% 的工人认为'比对讲机直观得多'。
一位老师傅反馈：'以前要反复描述'左边第三个红色按钮'，现在专家直接画个圈，一目了然！'
七、总结与展望
通过本次开发，Rokid CXR-M SDK 的强大与易用性得到验证：
- 连接稳定：蓝牙/Wi-Fi 双通道覆盖各类场景；
- 控制精细：从亮度到关机，全链路可控；
- 场景丰富：提词器、翻译、自定义 UI 开箱即用；
- 扩展性强：结合云端可构建复杂协作系统。
