从零实现 App 与 IP 摄像头语音对讲：WebRTC 技术实战与避坑指南

2. WebRTC 音频轨道处理

App 端关键代码 (Android 示例)：

// 初始化 PeerConnectionFactory
PeerConnectionFactory.initialize(PeerConnectionFactory.InitializationOptions.builder(context).createInitializationOptions());
// 创建本地音频轨道
AudioSource audioSource = peerConnectionFactory.createAudioSource(new MediaConstraints());
localAudioTrack = peerConnectionFactory.createAudioTrack("audio1", audioSource);
// 添加到 PeerConnection
peerConnection.addTrack(localAudioTrack);

3. STUN/TURN 服务器配置

建议使用组合方案提高连接成功率：

PeerConnection.RTCConfiguration config = new PeerConnection.RTCConfiguration(
  Arrays.asList(
    new PeerConnection.IceServer("stun:stun.l.google.com:19302"),
    new PeerConnection.IceServer("turn:your_turn_server.com", "username", "password")
  )
);

代码示例：完整初始化流程

iOS 端 Swift 示例：

// 1. 权限申请 (需在 Info.plist 配置麦克风权限)
AVAudioSession.sharedInstance().requestRecordPermission { granted in
  guard granted else { return }
  
  // 2. 创建 PeerConnectionFactory
  let factory = RTCPeerConnectionFactory()
  
  // 3. 创建音频轨道
  let audioConstrains = RTCMediaConstraints(mandatoryConstraints: nil, optionalConstraints: nil)
  let audioSource = factory.audioSource(with: audioConstrains)
  let audioTrack = factory.audioTrack(with: audioSource, trackId: "audio0")
  
  // 4. 配置 ICE 服务器
  let config = RTCConfiguration()
  config.iceServers = [RTCIceServer(urlStrings: ["stun:stun.l.google.com:19302"])]
  
  // 5. 创建 PeerConnection
  let peerConnection = factory.peerConnection(
    with: config,
    constraints: RTCMediaConstraints(
      mandatoryConstraints: ["OfferToReceiveAudio": "true"],
      optionalConstraints: nil
    ),
    delegate: self
  )
  
  // 6. 添加音频轨道
  peerConnection.add(audioTrack, streamIds: ["stream0"])
}

性能优化关键策略

弱网抗丢包方案

• 前向纠错 (FEC)：通过增加冗余数据包提高容错
• 丢包隐藏 (PLC)：使用 Opus 内置的丢包补偿算法
• 自适应码率：根据网络状况动态调整

// Android 端开启 Opus FEC
MediaConstraints audioConstraints = new MediaConstraints();
audioConstraints.mandatory.add(new MediaConstraints.KeyValuePair("googAudioNetworkAdaptor", "true"));
audioConstraints.mandatory.add(new MediaConstraints.KeyValuePair("googFec", "true"));

回声消除 (AEC) 实现

WebRTC 已内置 AEC 算法，但需要注意：

• 使用线性麦克风阵列
• 避免采样率转换
• 设置合适的延迟参数

设备功耗控制

• 使用 setMode(AudioManager.MODE_IN_COMMUNICATION) 优化音频路由
• 动态调整编码比特率 (推荐 16-32kbps)
• 实现非活动状态自动休眠

避坑指南：血泪经验总结

Android 机型兼容性问题

• 录音权限问题：部分厂商需要单独申请 RECORD_AUDIO 和 MODIFY_AUDIO_SETTINGS 权限
• 音频路由异常：使用 audioManager.setSpeakerphoneOn() 强制扬声器模式
• 编解码器不支持：在 SDP 协商中明确指定 Opus 编解码器

NAT 穿透失败处理

分级回退策略：

1. 首选 STUN 直连
2. 尝试 TURN TCP 中继
3. 最后使用 TURN UDP 中继

// 检测 ICE 连接状态
peerConnection.setIceConnectionObserver(new IceConnectionObserver() {
  @Override
  public void onIceConnectionChange(PeerConnection.IceConnectionState state) {
    if (state == PeerConnection.IceConnectionState.FAILED) {
      // 触发重连或回退逻辑
    }
  }
});

音频采样率匹配

常见问题：摄像头端只支持 8kHz 而 App 端使用 16kHz 导致杂音

解决方案：

• 在 SDP 中明确协商采样率
• 使用 AudioManager.getProperty(PROPERTY_OUTPUT_SAMPLE_RATE) 获取设备支持
• 必要时进行采样率转换

安全建议：保护语音数据

1. 强制加密：WebRTC 默认使用 DTLS-SRTP，不要禁用
2. 信令鉴权：为每个会话生成临时 token
3. TURN 服务器：配置使用临时凭证
4. 数据过滤：信令服务器验证消息合法性

// 信令服务器鉴权示例
io.use((socket, next) => {
  const token = socket.handshake.auth.token;
  if (validateToken(token)) {
    next();
  } else {
    next(new Error('Authentication error'));
  }
});

总结与展望

通过 WebRTC 实现 App 与 IP 摄像头的语音对讲，相比传统方案在延迟和用户体验上有质的飞跃。在实际项目中，建议：

1. 优先使用成熟的 WebRTC 框架 (如 libmediasoupclient)
2. 建立完善的网络状态监控系统
3. 针对不同摄像头厂商做针对性适配
4. 持续优化音频处理流水线