Android 音视频全栈开发学习路线与核心笔记整理

第四阶段：网络协议与开源项目

13. 网络协议与封包：深入研究 RTMP、HLS 等流媒体协议，以及 FLV、MP4 等封包格式。理解推流与拉流的握手过程及数据传输机制。
14. 开源项目学习：深入学习 WebRTC、FFmpeg、IJKPlayer、librtmp 等开源项目。阅读源码以理解其架构设计。
15. FFmpeg 移植与播放器：将 FFmpeg 库移植到 Android 平台，结合经验编写一款简易的音视频播放器。解决跨平台编译问题。
16. 软编功能实现：将 x264 库移植到 Android 平台，完成视频数据 H.264 软编功能。对比软硬编的性能差异。
17. RTMP 推流功能：将 librtmp 库移植到 Android 平台，完成 Android RTMP 推流功能。实现直播推流能力。
18. 综合项目实战：基于积累的经验，开发一款短视频 APP。实现断点拍摄、添加水印、本地转码、视频剪辑、视频拼接、MV 特效等功能。

核心技术模块详解

初级入门篇

一、绘制图片

• ImageView：最基础的组件，适合静态图片展示，内部通过 Bitmap 加载。
• SurfaceView：提供独立的 Surface，适合视频播放或游戏渲染，性能优于普通 View。
• 自定义 View：通过重写 onDraw 方法实现完全自定义的绘制逻辑，灵活性最高。

二、AudioRecord API 详解

• 配置录音参数：采样率（Sample Rate）、通道掩码（Channel Mask）、数据格式（Encoding Format）。
• 缓冲区管理：合理设置缓冲区大小，平衡内存占用与延迟。
• 生命周期管理：正确调用 startRecording、read、stopRecording、release 方法，防止资源泄漏。

三、录音与 WAV 生成

1. 创建 AudioRecord 对象。
2. 初始化环形缓冲区。
3. 开始录音，循环读取 PCM 数据。
4. 将 PCM 数据写入 WAV 文件头及数据区。
5. 停止录音并释放资源。

四、AudioTrack 播放 PCM 音频

• MODE_STATIC：适用于短音效，一次性加载数据。
• MODE_STREAM：适用于长音频，边读边播。
• 对比 MediaPlayer：AudioTrack 提供更底层的控制，适合自定义播放逻辑；MediaPlayer 封装了更多功能，适合快速开发。

五、Camera API 采集

• 预览模式配置：调整分辨率与帧率。
• 数据回调：获取 YUV (NV21) 格式数据，便于后续 GPU 处理。

六、MediaExtractor 与 MediaMuxer

• MediaExtractor：用于分离媒体文件中的不同轨道（视频、音频、字幕）。
• MediaMuxer：用于将多个轨道合并写入新的容器文件。
• 使用情境：视频裁剪、格式转换、合片。

七、MediaCodec API

• 介绍：Android 提供的硬件编解码接口。
• API 说明：configure, dequeueInputBuffer, queueInputBuffer, dequeueOutputBuffer, releaseOutputBuffer。
• 流控策略：处理缓冲区满溢情况，避免丢帧或卡顿。

中级进阶篇

Android OpenGL ES 开发

• 环境搭建：配置 Gradle 依赖，初始化 EGLContext。
• 定义形状：使用 Vertex Buffer 存储顶点数据。
• 绘制形状：绑定 VAO，调用 glDrawArrays。
• 投影与相机：构建 Model-View-Projection 矩阵。
• 运动效果：在 Shader 中引入时间变量实现动画。
• 触摸事件：将屏幕坐标转换为世界坐标，实现交互。
• 着色器语言 GLSL：编写 vertex shader 和 fragment shader。
• 纹理贴图：加载图片作为纹理，映射到几何体表面。
• 交互：通过 Uniform 变量传递外部数据给 Shader。
• 显示图片：使用纹理坐标将图片映射到 Quad 上。
• Camera 预览：使用 EglCore 将 Camera Surface 与 OpenGL Context 连接。
• 拍照与水印：捕获当前 Framebuffer 内容，叠加文字或图片。

高级探究篇

音视频编码技术

• H.264/AVC：理解宏块、预测模式、变换量化、熵编码流程。
• AAC：理解心理声学模型、频域编码、多声道支持。

流媒体协议

• HLS：基于 HTTP 的自适应流媒体，切片为 TS 文件，索引为 M3U8。
• RTMP：基于 TCP 的实时流媒体协议，延迟较低，广泛用于直播推流。

多媒体文件格式

• MP4：ISO Base Media File Format，结构清晰，支持随机访问。
• FLV：Flash Video，结构简单，常用于早期直播。
• M3U8：HLS 的索引文件，包含切片列表。
• TS：MPEG Transport Stream，HLS 的切片格式。
• PCM/WAV：未压缩音频格式，体积大但质量高。

FFmpeg 学习记录

• 命令行工具：ffprobe 查看信息，ffplay 播放，ffmpeg 转码。
• 设备采集：使用 -f lavfi 采集麦克风或摄像头。
• 速度调整：使用 atempo 滤镜调整音频速度，setpts 调整视频时间戳。
• 架构分析：
  • AVFormatContext：表示输入/输出格式上下文。
  • AVStream：表示媒体流（视频、音频）。
  • AVPacket：表示数据包，包含编码后的数据。
  • AVFrame：表示解码后的原始帧数据。
  • AVCodec：表示编解码器描述符。
  • AVCodecContext：表示编解码器上下文，包含具体参数。
  • AVIOContext：表示 IO 操作上下文，支持自定义读写。

总结

过去有人质疑音视频是小众市场，但随着 5G 发展和 WebRTC 的推广，音视频应用已渗透到各行各业。浏览器端音视频能力的增强降低了非专业人员的门槛，同时也提升了行业整体水平。对于希望进入该领域的开发者，建议从基础 API 入手，逐步深入底层原理，并通过实际项目积累经验。这份学习路线涵盖了从入门到精通的关键知识点，适合系统性参考。

未来，随着 AI 技术在音视频领域的应用（如智能降噪、超分辨率），该方向将持续保持高热度。开发者应关注开源社区动态，保持技术敏感度，不断提升工程实践能力。