Android 平台部署与运行 ONNX 模型实战

3. 执行推理

准备输入数据并转换为 OnnxTensor，调用 run() 获取结果。注意处理多输入输出情况：

// 构建输入 Map
Map<String, OnnxTensor> inputs = new HashMap<>();
inputs.put("input_name", OnnxTensor.createTensor(env, inputData));

// 执行推理
OrtSession.Result outputs = session.run(inputs);

// 解析输出
Object outputValue = outputs.get(0).getValue();
outputs.close(); // 务必释放资源

4. 硬件加速

如需启用 NNAPI 等硬件加速，可在 SessionOptions 中配置：

OrtSession.SessionOptions options = new OrtSession.SessionOptions();
options.addNnapi();

模型结构解析

使用 Netron 等工具打开 ONNX 文件，可直观查看输入输出节点。代码层面通过 session.getInputNames() 和 getOutputNames() 获取元数据。

多输入节点说明： ONNX 模型可能包含多个输入节点（如图像 + 文本），推理时需将所有输入打包传入：

val inputs = mapOf(
    "image_input" to imageTensor,
    "text_input" to textTensor
)
val result = session.run(inputs)

多输出节点说明： 类似地，输出也可能包含多个张量（如检测框、置信度、类别），需按需提取：

val outputNames = session.outputNames
val result = session.run(inputs)
val boxes = result.get("boxes") as OnnxTensor
val scores = result.get("scores") as OnnxTensor

实战示例：目标检测

基于 Android 平台的 ONNX 运行时对象检测示例，支持预处理和后处理扩展。这里以 YOLOv8 模型为例，输入图像字节，输出边界框信息。

关键代码逻辑

MainActivity.kt

class MainActivity : AppCompatActivity() {
    private lateinit var ortEnv: OrtEnvironment
    private lateinit var ortSession: OrtSession

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)
        
        // 初始化环境
        ortEnv = OrtEnvironment.getEnvironment()
        
        // 注册自定义操作库（用于解码/编码）
        val sessionOptions = OrtSession.SessionOptions()
        sessionOptions.registerCustomOpLibrary(OrtxPackage.getLibraryPath())
        
        // 加载模型
        ortSession = ortEnv.createSession(readModel(), sessionOptions)
    }

    private fun performObjectDetection() {
        try {
            val objDetector = ObjectDetector()
            val inputStream = readInputImage()
            val result = objDetector.detect(inputStream, ortEnv, ortSession)
            updateUI(result)
        } catch (e: Exception) {
            Log.e("ORT", "Detection failed", e)
        }
    }

    override fun onDestroy() {
        super.onDestroy()
        ortEnv.close()
        ortSession.close()
    }
}

ObjectDetector.kt

internal class ObjectDetector {
    fun detect(inputStream: InputStream, ortEnv: OrtEnvironment, ortSession: OrtSession): Result {
        // 1. 读取图像字节
        val rawImageBytes = inputStream.readBytes()
        
        // 2. 创建 Tensor
        val shape = longArrayOf(rawImageBytes.size.toLong())
        val inputTensor = OnnxTensor.createTensor(
            ortEnv, ByteBuffer.wrap(rawImageBytes), shape, OnnxJavaType.UINT8
        )
        
        // 3. 推理
        val output = ortSession.run(
            Collections.singletonMap("image", inputTensor),
            setOf("image_out", "scaled_box_out_next")
        )
        
        // 4. 解析结果
        output.use { res ->
            val boxOutput = res.get("scaled_box_out_next")?.value as Array<FloatArray>
            return Result(outputBitmap, boxOutput)
        }
    }
}

进阶应用：语音识别

对于 ASR（自动语音识别）场景，可使用 SherpaOnnx。它基于 ONNX Runtime 封装，支持 VAD（语音活动检测）和离线识别。

集成步骤

1. 下载预编译的 AAR 包（避免本地编译 NDK 的复杂性）。
2. 下载对应的模型文件（如 Paraformer）。
3. 将模型放入 assets 目录。

目录结构参考

├── main
│   ├── assets
│   │   ├── sherpa-onnx-paraformer-zh-2023-09-14
│   │   │   ├── model.int8.onnx
│   │   │   └── tokens.txt
│   │   └── silero_vad.onnx
│   └── java/com/k2fsa/sherpa/onnx/
│       ├── OfflineRecognizer.kt
│       └── Vad.kt

注意事项

• 模型优化：运行前建议使用 onnx-simplifier 简化模型，减少计算量。
• 兼容性测试：不同框架对算子支持程度不同，务必在真机测试。
• 安全性：模型文件应加密存储或置于安全位置，防止泄露。
• 资源释放：ONNX Runtime 对象较多，务必在 onDestroy 或合适生命周期关闭 Session 和环境。

通过上述流程，即可在 Android 设备上稳定运行各类 ONNX 模型，无论是视觉检测还是语音交互，都能获得良好的推理体验。