WebRTC 远程控制里的 AI 编排实践

语音识别和意图理解

语音输入用的是 Android 原生 SpeechRecognizer，识别中文指令没什么花活，但够稳。意图解析也没有上来就堆大模型，而是先用规则和关键词做基础分类：打开、点击、输入、滚动、返回。这种方式不优雅，但在手机控制这类固定动作里，够用且可控。

class VoiceRecognitionModule {
    private val speechRecognizer = SpeechRecognizer.createSpeechRecognizer(context)
    
    fun startListening() {
        val intent = Intent(RecognizerIntent.ACTION_RECOGNIZE_SPEECH).apply {
            putExtra(RecognizerIntent.EXTRA_LANGUAGE_MODEL, RecognizerIntent.LANGUAGE_MODEL_FREE_FORM)
            putExtra(RecognizerIntent.EXTRA_LANGUAGE, "zh-CN")
        }
        speechRecognizer.startListening(intent)
    }
    
    fun setRecognitionListener(listener: RecognitionListener) {
        speechRecognizer.setRecognitionListener(listener)
    }
}

class IntentParser {
    fun parseIntent(text: String): Intent {
        return when {
            text.contains("打开") -> Intent.OPEN_APP
            text.contains("点击") -> Intent.CLICK
            text.contains("输入") -> Intent.INPUT_TEXT
            text.contains("滚动") || text.contains("滑动") -> Intent.SCROLL
            text.contains("返回") -> Intent.BACK
            else -> Intent.UNKNOWN
        }
    }
    
    fun extractTarget(text: String, intent: Intent): String? {
        return when (intent) {
            Intent.OPEN_APP -> extractAppName(text)
            Intent.CLICK -> extractButtonText(text)
            Intent.INPUT_TEXT -> extractInputText(text)
            else -> null
        }
    }
}

OCR 用来找位置

OCR 这块用 Google ML Kit 的中文文本识别。先做精确匹配，找不到再走模糊匹配，靠编辑距离兜底。实际做远控的时候，界面文本总会有一点偏差，比如'确认'可能出现在'确认按钮'里，这种情况不补一层模糊匹配，体验会很僵。

class SmartCoordinateFinder {
    private val textRecognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build())
    
    suspend fun findTarget(text: String, image: InputImage): Coordinate? {
        return withContext(Dispatchers.IO) {
            val result = textRecognizer.process(image).await()
            // 精确匹配
            result.textBlocks.forEach { block ->
                block.lines.forEach { line ->
                    if (line.text.contains(text)) {
                        val center = calculateCenter(line.boundingBox)
                        return@withContext Coordinate(
                            x = center.x.toFloat() / image.width,
                            y = center.y.toFloat() / image.height,
                            confidence = 1.0f
                        )
                    }
                }
            }
            // 模糊匹配（编辑距离）
            findFuzzyMatch(result, text)
        }
    }
    
    private fun findFuzzyMatch(result: Text, target: String): Coordinate? {
        var bestMatch: Text.Line? = null
        var bestScore = 0.0f
        result.textBlocks.forEach { block ->
            block.lines.forEach { line ->
                val score = calculateSimilarity(line.text, target)
                if (score > bestScore && score >= 0.7f) {
                    bestScore = score
                    bestMatch = line
                }
            }
        }
        return bestMatch?.let {
            val center = calculateCenter(it.boundingBox)
            Coordinate(
                x = center.x.toFloat() / image.width,
                y = center.y.toFloat() / image.height,
                confidence = bestScore
            )
        }
    }
}

任务规划和执行

系统不会把一句'打开微信'直接翻译成一次点击，而是拆成几个步骤：回主页、查找应用、点击、等待启动。这样做的原因很简单，手机界面并不总是稳定，单步执行看起来快，实际上更容易在中间态翻车。

class TaskPlanner {
    fun planTask(intent: Intent, target: String): List<TaskStep> {
        return when (intent) {
            Intent.OPEN_APP -> planOpenApp(target)
            Intent.CLICK -> planClick(target)
            Intent.INPUT_TEXT -> planInputText(target)
            else -> emptyList()
        }
    }
    
    private fun planOpenApp(appName: String): List<TaskStep> {
        return listOf(
            TaskStep(TaskType.HOME, "返回主页"),
            TaskStep(TaskType.SCROLL, "查找应用"),
            TaskStep(TaskType.CLICK, "点击 $appName"),
            TaskStep(TaskType.WAIT, "等待应用启动")
        )
    }
}

class TaskExecutor {
    suspend fun execute(step: TaskStep, context: VisionContext) {
        when (step.type) {
            TaskType.CLICK -> {
                val coordinate = coordinateFinder.findTarget(step.target, context.screenshot)
                coordinate?.let {
                    remoteControl.sendTap(it.x, it.y)
                    ttsService.speak("已点击 ${step.target}")
                }
            }
            TaskType.SCROLL -> {
                remoteControl.sendSwipe(0.5f, 0.7f, 0.5f, 0.3f)
                delay(500)
            }
            // ... 其他任务类型
        }
    }
}

TTS 做反馈

TTS 的作用不是'锦上添花'，而是让用户知道系统当前在做什么。尤其是语音控制场景，没有反馈就很容易让人怀疑是不是没听见，或者已经卡住了。

class TTSService {
    private var tts: TextToSpeech? = null
    
    fun initialize(context: Context) {
        tts = TextToSpeech(context) { status ->
            if (status == TextToSpeech.SUCCESS) {
                // 优先使用中文语音
                val result = tts?.setLanguage(Locale.CHINESE)
                if (result == TextToSpeech.LANG_MISSING_DATA || result == TextToSpeech.LANG_NOT_SUPPORTED) {
                    // 降级为英文
                    tts?.setLanguage(Locale.ENGLISH)
                }
            }
        }
    }
    
    fun speak(text: String) {
        tts?.speak(text, TextToSpeech.QUEUE_ADD, null, null)
    }
}

使用方式

信令服务器先起起来，客户端再配地址。android/gradle.properties 里把 signalingUrl 和 turnUrl 配好，公网环境别省 TURN，省掉之后很多问题会在联通性上慢慢冒出来。

# 克隆项目
git clone <repository-url>
cd mobile-remote/signaling
# 安装依赖
npm install
# 启动服务
npm start

# 信令服务器地址
signalingUrl=ws://your-server-ip:xxxx
# TURN 服务器配置（公网部署需要）
turnUrl=turn:your-server-ip:xxxx
turnUser=your-username
turnPass=your-password

Host 端先共享设备、开无障碍、授权录屏，再开始服务拿房间号。Client 端输入房间号连上后，就可以直接说指令，比如'打开微信''点击确认按钮'。这部分流程不复杂，但权限一步少了，后面全都跑不通。

这套方案真正落地的点

OCR 精确匹配配合模糊匹配，能把很多'差一点点'的场景兜住；DataChannel 传控制指令，延迟比普通通道更适合点击类动作；任务规划把复杂操作拆短，失败时也更容易补救。它不是最华丽的实现，但确实比'直接识别一句话然后硬点屏幕'靠谱。

安全上也留了基本边界：WebRTC 用 DTLS/SRTP 加密，操作需要授权，Release 版本开 ProGuard，关键操作走服务端验证。录屏走 P2P，语音识别尽量本地处理，减少把敏感数据扔出去的机会。

适用场景

企业 IT 远程支持、无障碍辅助、智能家居控制、重复性游戏操作，都能套进来。场景不同，侧重点也不同：IT 更在意稳定和可追踪，无障碍更在意语音反馈和容错，游戏辅助则更在意低延迟和连续执行。

后续还能做什么

短期内可以把 OCR 结果可视化、补一些常见任务模板，再扩展指令表达。往后可以考虑 UI 元素识别、自学习任务、跨设备同步，甚至接大模型做更强的意图理解。只是这一步最好别急着上，先把稳定执行和失败兜底做扎实，不然模型越大，调试越烦。

总结

这套系统的核心不是'把 WebRTC、OCR、语音识别都接上'，而是让它们各自做擅长的事：WebRTC 负责低延迟连接，OCR 负责找位置，语音识别和意图解析负责把人话变成动作，任务执行器负责把动作落地。拼起来之后，它更像一个能听懂指令的远程助手，而不是传统意义上的远控面板。