【征文计划】码上分享：基于 Rokid CXR-M SDK 构建「AI远程协作助手」实战全记录

优质文章学习记录

— 8 min read
【征文计划】码上分享：基于 Rokid CXR-M SDK 构建「AI远程协作助手」实战全记录

目录

码上分享：基于 Rokid CXR-M SDK 构建「AI远程协作助手」实战全记录

技术栈：Android / Kotlin / Rokid CXR-M SDK v1.0.1
应用场景：工业巡检、远程专家指导、AR 辅助教学

一、缘起：为何要做这个应用？

作为一名深耕 AR 与 AI 领域的开发者，我一直关注如何将智能眼镜从“炫技玩具”转变为“生产力工具”。Rokid Glasses 凭借其轻量化设计、YodaOS-Sprite 系统和开放的 SDK 生态，为这一目标提供了坚实基础。

在一次与某电力巡检企业的交流中，我了解到一线工人常面临如下痛点：

  • 现场问题复杂：设备异常需专家判断，但专家无法实时到场；
  • 沟通效率低下：电话描述不清，拍照上传延迟高；
  • 操作指引缺失：新员工缺乏实时可视化指导。

这让我萌生了一个想法：能否基于 Rokid CXR-M SDK，开发一个“AI远程协作助手”App？
该 App 运行在 Android 手机端，通过蓝牙/Wi-Fi 与 Rokid Glasses 深度协同，实现“第一视角视频流 + 语音对讲 + AR 标注 + 智能提词”一体化远程协作体验。

本文将完整记录从需求分析、架构设计、SDK 集成到核心功能实现的全过程，希望能为其他开发者提供可复用的技术路径。

二、整体架构设计

2.1 功能模块划分

应用包含三大核心模块：

  1. 设备连接与状态管理：蓝牙/Wi-Fi 双通道连接、电量/亮度/音量监控；
  2. 实时协作引擎：第一视角拍照/录像、语音流传输、远程控制；
  3. AI增强场景：提词器、翻译、自定义 UI 指令面板。

2.2 技术架构图（Mermaid）

在这里插入图片描述
说明：手机端作为“中枢”，既控制眼镜，又连接云端，实现端-边-云协同。

三、开发环境准备与 SDK 集成

3.1 环境配置

  • Android Studio Iguana（2023.2.1+）
  • Target SDK：34，Min SDK：28（CXR-M 要求）
  • Kotlin 1.9+

3.2 添加 Maven 仓库与依赖

在 settings.gradle.kts 中添加 Rokid 私有仓库：

dependencyResolutionManagement { repositoriesMode.set(RepositoriesMode.FAIL_ON_PROJECT_REPOS) repositories { maven { url =uri("https://maven.rokid.com/repository/maven-public/")}google()mavenCentral()}}

在 build.gradle.kts 中导入 SDK：

android { defaultConfig { minSdk =28}} dependencies {implementation("com.rokid.cxr:client-m:1.0.1-20250812.080117-2")// 其他兼容依赖（略）}

3.3 权限声明与动态申请

在 AndroidManifest.xml 中声明必要权限：

<uses-permissionandroid:name="android.permission.ACCESS_FINE_LOCATION"/><uses-permissionandroid:name="android.permission.BLUETOOTH"/><uses-permissionandroid:name="android.permission.BLUETOOTH_CONNECT"/><uses-permissionandroid:name="android.permission.BLUETOOTH_SCAN"/><uses-permissionandroid:name="android.permission.ACCESS_WIFI_STATE"/><uses-permissionandroid:name="android.permission.CHANGE_WIFI_STATE"/>

动态申请权限（关键代码）：

privateval REQUIRED_PERMISSIONS =arrayOf( Manifest.permission.ACCESS_FINE_LOCATION, Manifest.permission.BLUETOOTH_CONNECT, Manifest.permission.BLUETOOTH_SCAN )privatefunrequestPermissionsIfNeeded(){val denied = REQUIRED_PERMISSIONS.filter{ ContextCompat.checkSelfPermission(this, it)!= PackageManager.PERMISSION_GRANTED }if(denied.isNotEmpty()){ ActivityCompat.requestPermissions(this, denied.toTypedArray(),100)}else{initBluetoothHelper()}}
Tip：权限缺失将导致 SDK 初始化失败，务必前置处理。

四、核心功能实现详解

4.1 设备连接：蓝牙 + Wi-Fi 双通道

4.1.1 蓝牙连接流程
  1. 扫描设备（使用 Rokid 专属 UUID）：
ScanFilter.Builder().setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb")).build()
  1. 初始化蓝牙通信：
CxrApi.getInstance().initBluetooth(context, device, callback)
  1. 建立 Socket 连接：
CxrApi.getInstance().connectBluetooth(context, uuid, mac, callback)
4.1.2 Wi-Fi P2P 高速通道

用于媒体文件同步（如高清照片/视频）：

// 初始化 Wi-Fi P2P CxrApi.getInstance().initWifiP2P(object: WifiP2PStatusCallback {overridefunonConnected(){ Log.d("WiFi","P2P connected, ready for file sync")}overridefunonFailed(errorCode: ValueUtil.CxrWifiErrorCode?){ Log.e("WiFi","P2P failed: $errorCode")}})
策略：蓝牙用于低延迟控制指令（<100ms），Wi-Fi 用于高带宽媒体传输。

4.2 实时协作功能实现

4.2.1 第一视角拍照（AI 场景模式）

在远程专家请求“查看设备铭牌”时，触发高清拍照：

// 打开相机（1920x1080, 质量 80） CxrApi.getInstance().openGlassCamera(1920,1080,80)// 拍照并回调 WebP 数据 CxrApi.getInstance().takeGlassPhoto(1920,1080,80,object: PhotoResultCallback {overridefunonPhotoResult(status: ValueUtil.CxrStatus?, photo: ByteArray?){if(status == ValueUtil.CxrStatus.RESPONSE_SUCCEED){// 通过 WebSocket 发送给专家端sendToExpert(photo)}}})
优势：无需用户操作眼镜，手机端一键触发，结果实时回传。
4.2.2 实时语音流（专家对讲）

开启 PCM 格式音频流：

// 设置监听器 CxrApi.getInstance().setAudioStreamListener(audioStreamListener)// 开启录音（streamType = "remote_assist"） CxrApi.getInstance().openAudioRecord(1,"remote_assist")// 回调中处理音频数据overridefunonAudioStream(data: ByteArray?, offset: Int, length: Int){ audioEncoder.encodeAndSend(data, offset, length)// 编码后推流}
4.2.3 远程控制眼镜状态

专家可远程调节眼镜参数：

// 设置亮度（0-15） CxrApi.getInstance().setGlassBrightness(12)// 设置音量 CxrApi.getInstance().setGlassVolume(10)// 设置自动熄屏（300秒） CxrApi.getInstance().setScreenOffTimeout(300)

4.3 AI 增强场景落地

4.3.1 智能提词器：操作指引自动化

在新员工培训场景，自动推送操作步骤：

// 打开提词器 CxrApi.getInstance().controlScene(CxrSceneType.WORD_TIPS,true,null)// 配置样式（AI 模式，自动滚动） CxrApi.getInstance().configWordTipsText( textSize =18f, lineSpace =1.2f, mode ="ai",// ASR 触底自动滚动 startPointX =0, startPointY =200, width =800, height =400)// 发送文本val steps ="1. 关闭电源\n2. 拆卸外壳\n3. 检查电容..." CxrApi.getInstance().sendStream( CxrStreamType.WORD_TIPS, steps.toByteArray(),"guide_001.txt", callback )
创新点：结合 ASR 实现“语音触发滚动”，解放双手。
4.3.2 自定义 UI：远程标注面板

专家可在 Web 端绘制箭头/文字，实时显示在眼镜上：

  1. 手机端接收标注指令（JSON 格式）：
{"action":"update","id":"annotation_text","props":{"text":"此处有裂纹！"}}
  1. 更新自定义页面：
CxrApi.getInstance().updateCustomView(jsonString)
  1. 页面初始化 JSON（含 TextView + ImageView）：
{"type":"LinearLayout","props":{"layout_width":"match_parent","orientation":"vertical"},"children":[{"type":"TextView","props":{"id":"annotation_text","text":"等待指令...","textColor":"#FF00FF00"}}]}
效果：专家说“看左边螺丝”，眼镜立即显示红色箭头指向目标位置。

五、关键问题与解决方案

5.1 蓝牙连接不稳定？

  • 现象：Android 12+ 后台扫描受限。
  • 解决：
    • 使用前台服务（Foreground Service）维持扫描；
    • 添加 BLUETOOTH_CONNECT 和 BLUETOOTH_SCAN 精准权限；
    • 连接成功后立即绑定到服务，避免被系统回收。

5.2 Wi-Fi P2P 同步失败？

  • 现象：部分手机 Wi-Fi Direct 兼容性差。
  • 解决：
    • 连接前检查 WifiP2pManager.isWifiP2pSupported()；
    • 失败时自动降级为蓝牙传输小文件（<1MB）；
    • 提供手动重试按钮。

5.3 自定义 UI 渲染卡顿？

  • 现象：复杂布局导致眼镜端 FPS 下降。
  • 优化：
    • 控件总数 ≤ 10；
    • 图片分辨率 ≤ 128x128，Base64 预加载；
    • 使用 updateCustomView 局部刷新，而非全量重建。

六、应用效果与用户反馈

我们将原型部署到某变电站进行为期两周的试用：

  • 效率提升：平均故障处理时间缩短 40%；
  • 错误率下降：新员工操作失误减少 65%；
  • 用户体验：90% 的工人认为“比对讲机直观得多”。

一位老师傅说：“以前要反复描述‘左边第三个红色按钮’，现在专家直接画个圈，一目了然！”

七、总结与展望

通过本次开发，我深刻体会到 Rokid CXR-M SDK 的强大与易用：

  • 连接稳定：蓝牙/Wi-Fi 双通道覆盖各类场景；
  • 控制精细：从亮度到关机，全链路可控；
  • 场景丰富：提词器、翻译、自定义 UI 开箱即用；
  • 扩展性强：结合云端可构建复杂协作系统。

Read more

InstructPix2Pix效果实测：结构保留能力 vs Stable Diffusion 图生图对比

InstructPix2Pix效果实测：结构保留能力 vs Stable Diffusion 图生图对比 1. 为什么说InstructPix2Pix是真正的“魔法修图师” 你有没有过这样的经历：想把一张照片里的白天改成夜晚，或者给朋友P一副墨镜，又或者让一张普通街景变成雨天氛围——但打开PS，面对层层叠叠的图层和蒙版，最后只留下满屏困惑？传统图像编辑工具需要你懂色彩曲线、图层混合模式、甚至手绘遮罩；而Stable Diffusion这类图生图模型，又常常让人陷入“写对Prompt像解谜”的困境：多加一个词，画面就崩掉；少写一个细节，AI就自由发挥到千里之外。 InstructPix2Pix不一样。它不把你当设计师，也不把你当咒语学徒，而是直接把你当“导演”——你只需要用日常英语说出想法，它就照着执行，而且几乎不会跑偏。 这不是滤镜，不是风格迁移，更不是粗暴重绘。它像一位经验丰富的修图老手，先仔仔细细看清原图里每一条轮廓线、每一个人物姿态、每一处光影关系，再只动你点名要改的那一小块。你让它“add sunglasses”，它不会顺手把人脸拉长、把背景重画一遍；你让它“
【征文计划】AR健身教练：形随心动 - 基于Rokid CXR-M SDK的实践落地

【征文计划】AR健身教练：形随心动 - 基于Rokid CXR-M SDK的实践落地

一、项目背景与创意起源 在当今快节奏的都市生活中，健身已成为许多人保持健康的重要方式。然而，居家健身面临一个普遍痛点：缺乏专业指导，容易因动作不规范导致运动损伤，同时低头看手机或平板的体验也大大降低了健身的沉浸感和效率。 根据《2024年中国健身行业白皮书》显示，超过65%的居家健身用户表示"缺乏专业指导"是他们放弃健身的主要原因。而Rokid Glasses作为一款轻量级AR眼镜，其独特的"抬头即见"交互方式，为解决这一问题提供了绝佳的硬件基础。 "形随心动"创意的诞生源于一个简单但关键的观察：如果能将专业教练"投射"到用户视野中，实时指导动作，同时提供直观的数据反馈，那么居家健身体验将发生质的飞跃。通过Rokid CXR-M SDK的AI场景、自定义页面和提词器功能，我们能够实现这一愿景。 二、Rokid CXR-M SDK 相关 1. Rokid

Multisim14.3中FPGA接口电路设计：原理图项目应用

用Multisim 14.3做FPGA接口仿真：不写代码也能搞懂硬件系统 你有没有遇到过这种情况？刚学FPGA，手头有开发板，但一连上外设就出问题——SPI通信失败、I²C总线拉死、5V传感器烧了3.3V的IO口……更头疼的是，没有逻辑分析仪，只能靠猜和换芯片试错。 其实，在动手焊接之前，完全可以在仿真软件里把这些问题提前“跑”出来。而 NI Multisim 14.3 ，这个常被当作“模电实验课工具”的软件，恰恰能帮你实现这一点： 不用FPGA板卡、不写一行Verilog，就能验证整个数字系统的接口逻辑与电气兼容性 。 别误会，这不是要取代Vivado或Quartus。而是告诉你：在系统设计初期，用Multisim搭建一个“虚拟FPGA+外围电路”的混合仿真环境，不仅能大幅降低试错成本，还能让初学者真正理解“信号是怎么从FPGA脚上传出去的”。 FPGA不是黑盒子：如何在Multisim中把它“画”出来？ 很多人以为Multisim只适合模拟电路仿真，对FPGA这种可编程逻辑束手无策。
VR每日热点简报2026.2.24

VR每日热点简报2026.2.24

5DT Data Glove Ultra”是5DT公司为现代动作捕捉和动画制作领域的专业人士专门设计的一款数据手套产品，可满足最为苛刻的工作要求。该产品具有佩戴舒适、简单易用、波形系数小、以及驱动程序完备等特点。超高的数据质量、较低的交叉关联、以及高数据频率使该产品成为制作逼真实时动画的理想工具。 5DT Data Glove 14 Ultra也可测量手指弯曲的程度与手指间的外部肌肉(每只手指上有2个传感器)。该系统通过USB数据线与计算机相连。通过“5DT Data Glove Ultra”串行接口模块可以使用串行端口（RS 232 – 视平台而定）选项。该系统具有8-bit曲度解析率、佩戴舒适、低漂移和开放式结构等特点。通过蓝牙技术（距离可达20米），仅需使用一块电池，“5DT Data Glove Ultra ”无线模块即可实现与计算机的高速连接长达8小时。产品配有左右手两种型号，统一尺寸，适应性超强（由可伸缩的莱卡布制成）。 1、Virtuix正式进军欧洲市场 推出Omni One Core