FFmpeg/OpenCV+C++ 实现直播拉流与推流及视频帧处理

基础知识

封装和解封装

原始图像序列（frame₀, frame₁, frame₂, ..., frameₙ） ↓ [H.264 编码器] ↓ H.264 视频编码流（包含 I 帧、P 帧、B 帧） ↓ [MP4 封装器] ↓ MP4 文件（movie.mp4） ├── 视频流（H.264 编码） ├── 音频流（可选，如 AAC 编码） └── 元数据（时间戳、分辨率等）

编码与解码

MP4 文件（movie.mp4） ↓ [MP4 解封装器] ↓ 分离出的流 ├── H.264 视频流（包含 I 帧、P 帧、B 帧） └── 音频流（如果有） ↓ [H.264 解码器] ↓ 重建图像序列（recon₀, recon₁, recon₂, ..., reconₙ）

硬件加速编解码

工具介绍

FFmpeg '八大金刚'核心开发库。

1. AVUtil 核心工具库，用于辅助实现可移植的多媒体编程。包含安全的可移植的字符串函数，随机数生成器，附加的数学函数，密码学和多媒体相关的功能函数。
2. AVFormat 协议及容器封装库。该库封装了协议层（Protocol 协议，包括文件的数据来源，I/O 操作方式等）和媒体格式容器层（Muxer/Demuxer 复用/解复用，媒体文件的封装和解封装方式）。AVFormat 库支持多种输入和输出协议（FILE、HTTP、UDP、RTMP 等），以及多种媒体容器格式（MP4，RMVB 等）。
3. AVCodec 编解码库，封装了编解码层（Codec），提供了一个通用的编码/解码框架，包含了用于音频、视频和字幕流的多个编码器和解码器。也可以将其他的第三方的编解码器以插件形式加入（如 x264，x265 等）。
4. AVFilter 滤镜库，提供了一个通用的可对音频/视频进行过滤处理的框架，其中包含过滤器，数据源和接收器的概念。
5. Postproc 后处理库，包括对于音频/视频文件进行后期处理的常用操作例如隔行滤波，去噪滤波、锐化滤波等，可以用于增强视频的清晰度、减少噪点和伪影等。常与 AVFilter 库一起使用，新版本已经移除。
6. AVDevice 设备库，提供了一个通用框架，用于对许多常见的多媒体 I/O 设备进行抓取和渲染。例如：需要操作：【/dev/videoX】
7. SWresample 音频处理库，用于处理音频，可以执行音频的重采样、重矩阵化和样本格式转换等操作。
8. SWscale 图像转换库，用于处理图像，可以执行图像缩放，色彩空间和像素格式转换等操作。例如：需要将 FFmpeg 中的 YUV 格式转换为 OpenCV 中的 BGR 格式。

工程项目实践

工程目标：从一个 RTMP 输入流（如 rtmp://.../live/456）拉取视频流，使用 FFmpeg 解码后，再通过 OpenCV 进行可能的图像处理（目前注释掉了），然后重新编码为 H.264 视频流，并推送到另一个 RTMP 地址（如 rtmp://.../live/dj/1ZNBJ7C00C009X）。

功能分解说明

1. 输入源：使用 FFmpeg 的 libavformat / libavcodec 打开并读取一个 （也可以是本地文件或其它协议）。自动探测流信息，找到视频流（）。使用对应的解码器（如 H.264）进行解码，得到原始帧（）。