Android ASR 实战：基于 Whisper 的高效语音识别实现与优化

JNI 层关键优化

通过以下 JNI 技巧提升性能：

1. 直接缓冲区：避免 Java 与 Native 间的数据拷贝
2. 线程绑定：将推理线程绑定到大核
3. 内存池：复用中间计算结果内存

// JNI 高效内存处理示例
JNIEXPORT jfloatArray JNICALL Java_com_example_asr_WhisperJNI_process(
    JNIEnv *env, jobject thiz, jfloatArray input) {
    jfloat* inputPtr = env->GetFloatArrayElements(input, NULL);
    // 使用预分配内存
    static float* outputBuffer = (float*)malloc(BUFFER_SIZE);
    // 执行推理...
    env->ReleaseFloatArrayElements(input, inputPtr, JNI_ABORT);
    return env->NewFloatArray(output);
}

完整集成方案

以下是 AudioRecord 到 Whisper 的端到端实现：

class WhisperASR(context: Context) {
    private val SAMPLE_RATE = 16000
    private val CHANNEL_CONFIG = AudioFormat.CHANNEL_IN_MONO
    private val AUDIO_FORMAT = AudioFormat.ENCODING_PCM_16BIT
    private lateinit var audioRecord: AudioRecord
    private lateinit var whisperJNI: WhisperJNI

    fun start() {
        // 1. 初始化音频采集
        val minBufferSize = AudioRecord.getMinBufferSize(
            SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT
        )
        audioRecord = AudioRecord(
            MediaRecorder.AudioSource.MIC,
            SAMPLE_RATE,
            CHANNEL_CONFIG,
            AUDIO_FORMAT,
            minBufferSize * 2
        )
        // 2. 加载模型
        whisperJNI = WhisperJNI()
        whisperJNI.loadModel(context.assets.open("whisper-quantized.pt"))
        // 3. 启动处理线程
        audioRecord.startRecording()
        processAudioStream()
    }

    private fun processAudioStream() {
        CoroutineScope(Dispatchers.IO).launch {
            val buffer = ShortArray(BUFFER_SIZE)
            while (isActive) {
                val read = audioRecord.read(buffer, 0, BUFFER_SIZE)
                if (read > 0) {
                    val text = whisperJNI.process(buffer)
                    onResult(text)
                }
            }
        }
    }
}

性能对比数据

测试设备：Pixel 6 (Tensor G1)

避坑指南

1. 内存泄漏：Native 层模型实例必须显式释放
2. 实时流处理：使用环形缓冲区避免数据丢失
3. 低功耗模式：动态调整推理频率
4. 热启动优化：预加载模型减少首次响应时间

// 低功耗模式实现示例
fun setPowerSavingMode(enable: Boolean) {
    whisperJNI.setComputeThreads(if (enable) 2 else 4)
    audioRecord.setPreferredDevice(
        if (enable) lowPowerMic else defaultMic
    )
}

开放性问题

在实际应用中，我们经常需要在精度和速度之间做权衡。比如：

• 是否需要为不同场景动态切换模型？
• 如何根据设备性能自动选择最优配置？
• 能否实现运行时自适应量化？