本文详细解析了深度学习中的主流并行训练算法，涵盖数据并行（DDP）、流水线并行（PP）、张量并行（TP）、序列并行（SP）及零冗余优化（ZeRO）。文章首先区分了模型数据与非模型数据的内存占用，随后阐述了各类并行技术的核心机制、优缺点及适用场景。重点介绍了 ZeRO 如何通过分片优化器状态、梯度和参数来消除显存冗余，并结合硬件互联特性分析了通信开销对性能的影响。内容旨在帮助开发者根据模型规模和硬件条件选择合适的并行策略，以实现大规模模型的高效训练。
随着深度学习模型规模的不断扩大，单个计算设备（如 GPU）的显存和算力已无法满足训练需求。为了解决这一问题，分布式并行训练技术应运而生。本文将详细介绍几种主流的深度学习并行方法，包括数据并行（Data Parallelism）、模型并行（Model Parallelism）、张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）、序列并行（Sequence Parallelism）以及零冗余数据并行（ZeRO）。
在深入具体算法之前，我们需要明确模型训练中涉及的两类主要数据：
经典的数据并行算法是在多个设备上分别拷贝一份完整的模型参数副本。每个设备接收不同的输入数据批次（Batch），独立进行前向传播和反向传播计算。由于各设备计算的是同一模型的不同数据子集，因此它们之间需要定期同步模型参数的梯度。
通常采用 AllReduce 操作来聚合梯度，确保所有设备上的模型参数保持一致。随着模型参数量增大，单卡显存无法容纳完整模型时，单纯的数据并行会遇到瓶颈，此时需要引入模型并行技术。
DDP 是 PyTorch 等框架中广泛使用的数据并行实现。它通过进程组（Process Group）管理多卡通信，利用 NCCL 库加速 GPU 间通信。相比传统 DP，DDP 避免了主节点处理梯度的瓶颈，实现了更高效的梯度同步。
当模型过大无法放入单卡显存时，需要将模型切分到多个设备上。模型并行主要分为层间划分和层内划分两种策略。
流水线并行是对模型层间进行划分（Inter-layer Parallelism）。假设一个模型有 N 层，将其划分为 K 个阶段，每个阶段分配给一个 GPU。数据像流水线一样依次流过各个阶段。
张量并行是对模型层内进行划分（Intra-layer Parallelism），主要针对矩阵乘法运算。例如，在 Transformer 的 Self-Attention 或 MLP 层中，将大矩阵按行或列切分到不同 GPU 上。
硬件连接方式对 TP 性能影响显著。高带宽互联（如 NVLink）可显著降低通信延迟，而节点间 PCIe 连接则可能成为瓶颈。在实际部署中，常采用节点内 NVLink 高速互联，节点间 PCIe 互联的混合架构。
张量并行主要解决 Model Data 导致的内存瓶颈，但 Non-Model Data（如 Activations）也可能成为限制因素。例如在 NAS（神经架构搜索）任务或长序列 Transformer 训练中，Self-attention 机制的复杂度为 O(L^2)，其中 L 为序列长度，会导致激活值占用大量显存。
序列并行旨在解决由激活值引起的性能瓶颈。其原理是将序列维度切分到不同设备上，结合张量并行使用，进一步释放显存空间。
ZeRO (Zero Redundancy Optimizer) 是一种旨在消除数据并行中冗余内存占用的技术。训练过程中的 GPU 内存开销主要包括：
ZeRO 根据张量的不同生命周期主动管理内存，防止碎片并减少冗余。ZeRO 分为三个阶段：
通过 ZeRO Stage 3，可以将模型参数也分片存储，使得在有限显存下能够训练更大的模型。同时，ZeRO 还引入了动态内存管理，有效缓解内存碎片问题。
在实际工程中，选择何种并行策略取决于模型规模、硬件资源和网络环境：
理解这些并行技术的原理与权衡，有助于构建更高效、可扩展的大模型训练系统。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
