WebRTC 源码走读：核心引擎层——视频引擎

作用：实现视频采集功能，支持多种平台（Windows 使用 DirectShow，Linux 使用 V4L2 等），提供接口供上层调用。

关键细节：

• 在 Windows 平台上，WebRTC 采用 DirectShow 技术实现视频设备枚举和数据采集
• 支持多种媒体格式：I420、YUY2、RGB、UYVY 等
• 可进行帧大小和帧率控制

2.2 视频编解码 (Video Coding)

源码路径：webrtc/modules/video_coding/video_coding_impl.h

// webrtc/modules/video_coding/video_coding_impl.h
// 视频编解码实现接口
class VideoCodingModuleImpl : public VideoCodingModule {
public:
    // 创建视频编解码实例
    static VideoCodingModule* Create();
    // 初始化编解码
    int32_t Initialize() override;
    // 编码视频帧
    int32_t Encode(const VideoFrame& input_frame, const std::vector<VideoFrameType>* frame_types) override;
    // 解码视频帧
    int32_t Decode(const uint8_t* payload, size_t payload_length, int64_t timestamp, bool is_key_frame) override;
    // 设置编解码器参数
    int32_t SetCodecParameters(int32_t width, int32_t height, int32_t fps) override;
};

作用：实现视频编解码功能，支持 VP8、VP9、H.264 等编解码器，提供高效的视频压缩能力。

关键细节：

• VP8 是 Google 收购 ON2 后开源的编解码器，用在 WebM 项目中
• VP8 能以更少的数据提供更高质量的视频，特别适合视频会议
• 支持多种编码参数设置，如分辨率、帧率、码率等

2.3 视频图像处理 (Video Processing)

源码路径：webrtc/modules/video_processing/video_processing_impl.h

// webrtc/modules/video_processing/video_processing_impl.h
// 视频图像处理实现接口
class VideoProcessingImpl : public VideoProcessing {
public:
    // 创建视频处理实例
    static VideoProcessing* Create();
    // 初始化视频处理
    int32_t Initialize() override;
    // 处理视频帧
    int32_t ProcessFrame(const VideoFrame* input_frame, VideoFrame* output_frame) override;
    // 设置图像处理参数
    int32_t SetBrightness(int32_t brightness) override;
    int32_t SetContrast(int32_t contrast) override;
    int32_t SetSaturation(int32_t saturation) override;
};

作用：实现视频图像处理功能，包括明暗度检测、颜色增强、降噪处理等，提升视频质量。

关键细节：

• 针对每一帧的图像进行处理
• 明暗度检测：调整视频亮度
• 颜色增强：提升色彩饱和度
• 降噪处理：减少视频噪点

2.4 视频显示 (Video Render)

源码路径：webrtc/modules/video_render/video_render_impl.h

// webrtc/modules/video_render/video_render_impl.h
// 视频显示实现接口
class VideoRenderImpl : public VideoRenderer {
public:
    // 创建视频显示实例
    static VideoRenderer* Create();
    // 初始化视频显示
    int32_t Init() override;
    // 设置显示窗口
    int32_t SetWindow(void* window) override;
    // 显示视频帧
    int32_t RenderFrame(int32_t id, const VideoFrame* video_frame) override;
    // 释放资源
    int32_t Release() override;
};

作用：实现视频显示功能，在 Windows 平台使用 Direct3D9 和 DirectDraw 显示视频，提供高效的视频渲染能力。

关键细节：

• 在 Windows 平台，WebRTC 采用 Direct3D9 和 DirectDraw 显示视频
• 提供了高效的视频渲染 API
• 支持多窗口显示和视频缩放

2.5 视频加密 (Video Encryption)

源码路径：webrtc/modules/video_engine_encryption/video_engine_encryption_impl.h

// webrtc/modules/video_engine_encryption/video_engine_encryption_impl.h
// 视频加密实现接口
class VideoEngineEncryptionImpl : public VideoEngineEncryption {
public:
    // 创建视频加密实例
    static VideoEngineEncryption* Create();
    // 初始化加密
    int32_t Initialize() override;
    // 加密视频帧
    int32_t Encrypt(const VideoFrame* input_frame, VideoFrame* output_frame) override;
    // 解密视频帧
    int32_t Decrypt(const VideoFrame* input_frame, VideoFrame* output_frame) override;
    // 设置加密密钥
    int32_t SetKey(const uint8_t* key, size_t key_length) override;
};

作用：实现视频加密功能，为点对点视频提供数据安全保证，密钥由视频双方协商。

关键细节：

• 视频加密是 WebRTC video_engine 的一部分
• 在发送端和接收端进行加解密视频数据
• 密钥由视频双方协商
• 加密数据源可能是原始数据流或编码后的数据流
• 会增加视频数据处理的性能开销

2.6 视频媒体文件 (Media File)

源码路径：webrtc/modules/media_file/media_file_impl.h

// webrtc/modules/media_file/media_file_impl.h
// 视频媒体文件处理接口
class MediaFileImpl : public MediaFile {
public:
    // 创建媒体文件实例
    static MediaFile* Create();
    // 初始化媒体文件
    int32_t Init() override;
    // 打开媒体文件
    int32_t Open(const char* file_name, FileFormat format) override;
    // 关闭媒体文件
    int32_t Close() override;
    // 读取媒体帧
    int32_t ReadFrame(VideoFrame* video_frame) override;
    // 写入媒体帧
    int32_t WriteFrame(const VideoFrame* video_frame) override;
};

作用：实现视频媒体文件处理功能，可以用本地文件作为视频源或录制音视频到本地文件。

关键细节：

• 可以用本地文件作为视频源，类似虚拟摄像头
• 支持 AVI 格式
• 可以录制音视频到本地文件

3. 视频引擎在整个系统中的作用

视频引擎在 WebRTC 架构中扮演着关键角色：

1. 视频质量保障：通过 VP8 等编解码技术、图像增强和降噪处理提升视频质量
2. 带宽优化：通过高效的视频编解码算法优化带宽使用，适应不同网络条件
3. 实时处理：处理视频数据的实时性，确保低延迟通信
4. 平台兼容性：提供跨平台的视频处理能力，支持 Windows、Linux、macOS、Android、iOS 等
5. 安全传输：通过视频加密保证数据安全，防止视频数据在传输过程中被窃取

WebRTC 在视频编码方面采用 VP8、VP9 和 H.264，VP8 具有较高的压缩效率和较好的兼容性，VP9 在 VP8 的基础上进一步提升了压缩比，能够在更低的码率下提供更高质量的视频。

4. 与其他模块的交互

4.1 与媒体引擎（MediaEngine）的交互

交互细节：

• 媒体引擎负责视频数据的采集和渲染
• 视频引擎负责对采集的视频数据进行处理
• 视频引擎通过 VideoCaptureImpl 获取原始视频帧
• 通过 VideoCodingModuleImpl 进行视频编解码
• 通过 VideoProcessingImpl 进行图像处理
• 通过 VideoRenderImpl 进行视频显示

4.2 与网络传输模块的交互

交互细节：

• 视频引擎将处理后的视频数据交给网络传输模块进行发送
• 网络传输模块使用 RTP/RTCP 协议进行视频数据传输
• 接收到视频数据后，网络传输模块将数据传递给视频引擎
• 视频引擎进行视频解码和图像处理
• 处理后的视频数据返回给媒体引擎进行显示

4.3 与 ICE/STUN 模块的交互

交互细节：

• 视频引擎通过 ICE/STUN 获取网络信息
• ICE/STUN 提供 NAT 穿透能力，获取设备的公网 IP/端口
• 视频引擎根据网络条件优化视频传输参数
• 确保在不同网络条件下都能获得良好的视频体验