Android WebRTC 入门实战：从零构建实时音视频应用
背景与挑战
实时音视频通信已成为现代移动应用的核心功能之一，但在 Android 平台实现这一功能面临诸多技术挑战：
- 网络穿透难题：NAT 设备导致设备间无法直接建立连接，需要 STUN/TURN 服务器辅助
- 编解码兼容性：不同设备硬件编解码能力差异大，需动态适配
- 实时性要求：音视频同步、低延迟处理对线程模型提出严格要求
- 设备资源管理：相机、麦克风等硬件资源需要精细控制
- 跨平台互通：与 Web、iOS 等其他平台的兼容性保证
技术方案对比
| 技术方案 | 延迟 | 开发复杂度 | 适用场景 | 跨平台性 |
|---|---|---|---|---|
| WebRTC | 100-500ms | 中高 | 实时交互 | 优秀 |
| Socket.IO+ 自定义流 | 500ms+ | 高 | 简单消息 | 一般 |
| RTMP | 1-3s | 中 | 直播推流 | 有限 |
| UDP 裸传 | <100ms | 极高 | 专业领域 | 差 |
WebRTC 凭借其内置的 NAT 穿透、自适应码率等特性，成为移动端实时通信的首选方案。
核心实现流程
PeerConnectionFactory 初始化
// 1. 初始化 PeerConnectionFactory
val options = PeerConnectionFactory.InitializationOptions.builder(context)
.setEnableInternalTracer(true)
.setFieldTrials("WebRTC-H264HighProfile/Enabled/")
.createInitializationOptions()
PeerConnectionFactory.initialize(options)
// 2. 创建工厂实例
val factory = PeerConnectionFactory.builder()
.setVideoEncoderFactory(DefaultVideoEncoderFactory(
rootEglBase.eglBaseContext, true, // 启用硬件编码
true)) // 启用 H.264
.setVideoDecoderFactory(DefaultVideoDecoderFactory(rootEglBase.eglBaseContext))
.createPeerConnectionFactory()
创建本地媒体流
// 使用 Camera2 API 创建视频源
val cameraManager = context.getSystemService(Context.CAMERA_SERVICE) CameraManager
cameraId = cameraManager.cameraIdList[]
surfaceTextureHelper = SurfaceTextureHelper.create(
, rootEglBase.eglBaseContext)
videoSource = factory.createVideoSource()
characteristics = cameraManager.getCameraCharacteristics(cameraId)
streamConfigMap = characteristics.(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP)
previewSize = streamConfigMap.getOutputSizes(SurfaceTexture::.java)[]
cameraManager.openCamera(cameraId, : CameraDevice.StateCallback() {
{
surface = Surface(surfaceTextureHelper.surfaceTexture)
camera.createCaptureSession(
listOf(surface),
: CameraCaptureSession.StateCallback() {
{
request = camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW)
request.addTarget(surface)
session.setRepeatingRequest(request.build(), , )
}
},
)
}
}, )
localStream = factory.createLocalMediaStream()
localStream.addTrack(factory.createVideoTrack(, videoSource))
localStream.addTrack(factory.createAudioTrack(, factory.createAudioSource(MediaConstraints())))
