Android 音视频全栈开发学习路线与核心笔记整理
前言
从移动互联网的发展历史来看，2G 时代开启了移动互联的雏形，3G 时代带来了即时通信应用（如 QQ、微信）的爆发，4G 时代则催生了短视频行业的兴起以及字节跳动等公司的崛起。这十年的繁荣主要得益于网络带宽的提升。随着 5G 技术的普及，高带宽、低延迟的特性将进一步推动音视频行业的下一个十年繁荣期。
对于开发者而言，音视频研发是一个前景广阔且具备较高技术壁垒的方向。掌握音视频技术意味着掌握了通往未来的关键技能，能够有效拉开与其他开发者的差距。然而，音视频领域涉及底层原理、图形学、网络协议等多个复杂层面，自学难度较大，需要系统化的学习路径。
行业现状与岗位分析
核心竞争力
音视频开发被视为程序领域的皇冠明珠。由于技术门槛高，掌握该领域知识意味着拥有较强的不可替代性。底层技术（如编码标准 H.264 自 1995 年确立至今仍在广泛使用）相对稳定，但应用场景不断扩展，是区分初级与高级工程师的分水岭。
人才需求与薪资
在 Boss 直聘等招聘平台上，北上广深等一线城市的音视频开发岗位常年处于供不应求状态。资深岗位的年薪范围通常在 50w-70w，而月薪 2-3 万多为入门级开发者。高薪资的核心原因在于人才稀缺，能够完整掌握音视频采集、处理、编码、传输、播放全流程的开发者较少。
学历与要求
虽然薪资诱人，但企业对学历通常有一定要求，最低门槛一般为本科学历。此外，除了编程能力，还需要对操作系统底层机制、网络协议及数学算法有较深的理解。
音视频开发自学路径详解
音视频自学存在成本高、效率低的挑战，但并非不可逾越。以下是一份经过验证的基础学习路线，涵盖了从基础 API 到高级项目实战的关键步骤。
第一阶段：基础图形与音频处理
- 图像绘制基础：在 Android 平台掌握至少三种图片绘制方式。包括
ImageView（简单显示）、SurfaceView（高性能预览）和自定义 View（灵活控制）。理解它们的渲染机制差异及适用场景。
- 音频采集与播放：使用
AudioRecord 和 AudioTrack API 完成 PCM 数据的采集与回放。实现读写 WAV 文件，理解采样率、位深度、声道数等参数对音质的影响。
- 视频采集基础：利用 Camera API 进行视频数据采集。分别使用
SurfaceView 和 TextureView 预览 Camera 数据，并获取 NV21 格式的数据回调，为后续图像处理做准备。
第二阶段：媒体封装与解码
- 媒体解析与封装：学习
MediaExtractor 和 MediaMuxer API。掌握如何解析 MP4 文件的轨道信息，以及如何将音视频流重新封装成 MP4 文件。理解容器格式的作用。
- OpenGL ES 基础：学习 OpenGL ES 的基本流程，使用其绘制一个三角形。理解顶点着色器、片段着色器的概念，这是后续视频滤镜和特效的基础。
- 纹理绘制：学习使用 OpenGL 显示一张图片。理解纹理坐标映射、纹理过滤模式，这是视频渲染的核心技术。
- 硬编硬解入门：学习
MediaCodec API，完成音频 AAC 的硬编码与硬解码。理解 Codec 的输入输出缓冲区管理，以及同步机制。
- 视频硬编硬解：继续深入
MediaCodec，完成视频 H.264 的硬编码与硬解码。了解 I 帧、P 帧、B 帧的概念及其对压缩率的影响。
第三阶段：流程串联与进阶特效
- 录制流程串联：整合上述知识，完成音视频的采集、编码、封包成 MP4 输出的完整录制流程。注意时间戳的处理和同步问题。
- 播放流程串联：完成 MP4 的解析、音视频解码、播放和渲染。重点解决音视频同步（AVSync）问题，确保唇形同步。
- OpenGL 高级特性：深入学习视频剪裁、旋转、水印添加、滤镜实现。掌握 VBO（顶点缓冲对象）、VAO（顶点数组对象）、FBO（帧缓冲对象）等高级特性，提升渲染性能。
- 图形架构深入：学习 Android 图形图像架构，能够使用
GLSurfaceView 绘制 Camera 预览画面。理解 Surface 与 View 的关系。
第四阶段：网络协议与开源项目
- 网络协议与封包：深入研究 RTMP、HLS 等流媒体协议，以及 FLV、MP4 等封包格式。理解推流与拉流的握手过程及数据传输机制。
- 开源项目学习：深入学习 WebRTC、FFmpeg、IJKPlayer、librtmp 等开源项目。阅读源码以理解其架构设计。
- FFmpeg 移植与播放器：将 FFmpeg 库移植到 Android 平台，结合经验编写一款简易的音视频播放器。解决跨平台编译问题。
- 软编功能实现：将 x264 库移植到 Android 平台，完成视频数据 H.264 软编功能。对比软硬编的性能差异。
- RTMP 推流功能：将 librtmp 库移植到 Android 平台，完成 Android RTMP 推流功能。实现直播推流能力。
- 综合项目实战：基于积累的经验，开发一款短视频 APP。实现断点拍摄、添加水印、本地转码、视频剪辑、视频拼接、MV 特效等功能。
核心技术模块详解
初级入门篇
一、绘制图片
- ImageView：最基础的组件，适合静态图片展示，内部通过 Bitmap 加载。
- SurfaceView：提供独立的 Surface，适合视频播放或游戏渲染，性能优于普通 View。
- 自定义 View：通过重写 onDraw 方法实现完全自定义的绘制逻辑，灵活性最高。
二、AudioRecord API 详解
- 配置录音参数：采样率（Sample Rate）、通道掩码（Channel Mask）、数据格式（Encoding Format）。
- 缓冲区管理：合理设置缓冲区大小，平衡内存占用与延迟。
- 生命周期管理：正确调用 startRecording、read、stopRecording、release 方法，防止资源泄漏。
三、录音与 WAV 生成
- 创建 AudioRecord 对象。
- 初始化环形缓冲区。
- 开始录音，循环读取 PCM 数据。
- 将 PCM 数据写入 WAV 文件头及数据区。
- 停止录音并释放资源。
四、AudioTrack 播放 PCM 音频
- MODE_STATIC：适用于短音效，一次性加载数据。
- MODE_STREAM：适用于长音频，边读边播。
- 对比 MediaPlayer：AudioTrack 提供更底层的控制，适合自定义播放逻辑；MediaPlayer 封装了更多功能，适合快速开发。
五、Camera API 采集
- 预览模式配置：调整分辨率与帧率。
- 数据回调：获取 YUV (NV21) 格式数据，便于后续 GPU 处理。
- MediaExtractor：用于分离媒体文件中的不同轨道（视频、音频、字幕）。
- MediaMuxer：用于将多个轨道合并写入新的容器文件。
- 使用情境：视频裁剪、格式转换、合片。
七、MediaCodec API
- 介绍：Android 提供的硬件编解码接口。
- API 说明：configure, dequeueInputBuffer, queueInputBuffer, dequeueOutputBuffer, releaseOutputBuffer。
- 流控策略：处理缓冲区满溢情况，避免丢帧或卡顿。
中级进阶篇
Android OpenGL ES 开发
- 环境搭建：配置 Gradle 依赖，初始化 EGLContext。
- 定义形状：使用 Vertex Buffer 存储顶点数据。
- 绘制形状：绑定 VAO，调用 glDrawArrays。
- 投影与相机：构建 Model-View-Projection 矩阵。
- 运动效果：在 Shader 中引入时间变量实现动画。
- 触摸事件：将屏幕坐标转换为世界坐标，实现交互。
- 着色器语言 GLSL：编写 vertex shader 和 fragment shader。
- 纹理贴图：加载图片作为纹理，映射到几何体表面。
- 交互：通过 Uniform 变量传递外部数据给 Shader。
- 显示图片：使用纹理坐标将图片映射到 Quad 上。
- Camera 预览：使用 EglCore 将 Camera Surface 与 OpenGL Context 连接。
- 拍照与水印：捕获当前 Framebuffer 内容，叠加文字或图片。
高级探究篇
音视频编码技术
- H.264/AVC：理解宏块、预测模式、变换量化、熵编码流程。
- AAC：理解心理声学模型、频域编码、多声道支持。
流媒体协议
- HLS：基于 HTTP 的自适应流媒体，切片为 TS 文件，索引为 M3U8。
- RTMP：基于 TCP 的实时流媒体协议，延迟较低，广泛用于直播推流。
多媒体文件格式
- MP4：ISO Base Media File Format，结构清晰，支持随机访问。
- FLV：Flash Video，结构简单，常用于早期直播。
- M3U8：HLS 的索引文件，包含切片列表。
- TS：MPEG Transport Stream，HLS 的切片格式。
- PCM/WAV：未压缩音频格式，体积大但质量高。
FFmpeg 学习记录
- 命令行工具：ffprobe 查看信息，ffplay 播放，ffmpeg 转码。
- 设备采集：使用 -f lavfi 采集麦克风或摄像头。
- 速度调整：使用 atempo 滤镜调整音频速度，setpts 调整视频时间戳。
- 架构分析：
- AVFormatContext：表示输入/输出格式上下文。
- AVStream：表示媒体流（视频、音频）。
- AVPacket：表示数据包，包含编码后的数据。
- AVFrame：表示解码后的原始帧数据。
- AVCodec：表示编解码器描述符。
- AVCodecContext：表示编解码器上下文，包含具体参数。
- AVIOContext：表示 IO 操作上下文，支持自定义读写。
总结
过去有人质疑音视频是小众市场，但随着 5G 发展和 WebRTC 的推广，音视频应用已渗透到各行各业。浏览器端音视频能力的增强降低了非专业人员的门槛，同时也提升了行业整体水平。对于希望进入该领域的开发者，建议从基础 API 入手，逐步深入底层原理，并通过实际项目积累经验。这份学习路线涵盖了从入门到精通的关键知识点，适合系统性参考。
未来，随着 AI 技术在音视频领域的应用（如智能降噪、超分辨率），该方向将持续保持高热度。开发者应关注开源社区动态，保持技术敏感度，不断提升工程实践能力。
