C++ 使用 FFmpeg 实现音视频同步录制与 MP4 封装

前言

FFmpeg 作为音视频处理领域的'瑞士军刀'，支持跨平台音视频采集、编码、封装等全流程操作。本文将在此基础上扩展音频同步采集功能，实现从摄像头 + 麦克风同步录制音视频，编码为 H.264（视频）+ AAC（音频）格式，最终封装为标准 MP4 文件。

通过本文你将学会：

1. 音频设备（麦克风）的采集与配置
2. 音视频同步录制的核心逻辑
3. AAC 音频编码与 H.264 视频编码的协同
4. 音视频流同步写入文件的实现
5. 跨平台（Windows/Linux/macOS）兼容方案

一、核心原理与流程梳理

音视频同步录制的核心是'时间戳对齐'和'双流并行处理'，整体流程如下：

text
摄像头 → 视频帧采集 → 格式转换（RGB→YUV420P）→ H.264 编码 → 视频流封装 
麦克风 → 音频帧采集 → 格式转换（PCM→FLTP）→ AAC 编码 → 音频流封装 
↓ 时间戳同步 → MP4 文件输出 

关键技术点

1. 设备采集：视频用 dshow（Windows）/v4l2（Linux），音频用 dshow（Windows）/alsa（Linux）
2. 编码选型：视频 H.264（兼容性强），音频 AAC（主流音频编码）
3. 时间戳同步：通过 FFmpeg 的 pts（显示时间戳）确保音视频播放同步
4. 双流处理：分别初始化视频流和音频流，独立编码但统一封装到同一 MP4 文件

二、开发环境搭建

2.1 环境要求

• FFmpeg 4.0+ 开发包（需包含 libavformat/libavcodec/libavdevice/libavutil/libswscale/libswresample）
• C++ 编译器（VS2019+/GCC 7+/Clang）
• 支持的摄像头和麦克风设备

2.2 环境配置（以 VS 为例）

1. 下载 FFmpeg 全功能开发包（含音频相关库）：FFmpeg 官网
2. 项目属性配置：
   • 包含目录：添加 FFmpeg 的 include 文件夹
   • 库目录：添加 FFmpeg 的 lib 文件夹
3. 复制 bin 目录下所有 .dll 到项目输出目录（Debug/Release）

附加依赖项（新增音频相关库）：

plaintext
avformat.lib avcodec.lib avdevice.lib avutil.lib swscale.lib swresample.lib // 音频格式转换库 

2.3 环境验证

cpp #include #include <libavformat/avformat.h> #include <libavdevice/avdevice.h> int main() { av_register_all(); avdevice_register_all(); std::cout << "FFmpeg 版本：" << av_version_info() << std::endl; return 0; }