本文详细阐述了大模型训练中的四种主要并行方法：数据并行、模型张量并行、流水线并行及 ZeRO 优化。文章对比了 DP 与 DDP 的差异，解释了 TP 如何按行列切分 Tensor 以解决单卡显存瓶颈，分析了 PP 的流水线气泡问题及微批次解决方案，并深入介绍了 ZeRO 的分片机制与 Offload 技术。此外，文章还提供了针对不同硬件环境（单卡、单机多卡、多机多卡）的策略选择建议，帮助读者根据实际场景构建高效的分布式训练系统。
随着大语言模型（LLM）参数量级的不断攀升，训练数据规模日益庞大，单卡训练往往面临显存不足或计算效率低下的瓶颈。当拥有多张 GPU（单机多卡或多机多卡）时，通过并行训练技术可以有效解决这些问题。常见的并行策略主要包括数据并行、模型张量并行、流水线并行以及 ZeRO 优化。
在大规模分布式训练中，核心目标是平衡计算负载与通信开销，同时确保模型参数能够被有效利用。
数据并行是最基础的并行方式。每个 GPU 都加载完整的模型副本，将输入数据分割成多个批次（Batch），分别输入到不同的 GPU 中进行前向传播和反向传播。在计算 Loss 和梯度后，各 GPU 之间需要同步梯度，通常使用 AllReduce 操作来聚合梯度，然后更新本地模型参数。
DP 与 DDP 的区别：
当单个 GPU 无法存储整个模型的某一层权重时，需要使用张量并行。TP 将一个大的 Tensor 按行或列切分，存储在不同的 GPU 上。每个 GPU 负责计算部分结果，最后通过通信汇总。
以 Transformer 架构中的线性层为例：
这种方式的优点是可以显著降低单卡的显存占用，但缺点是增加了层内通信的频率和开销。TP 通常用于处理极大规模的模型层，如 Megatron-LM 的实现。
流水线并行将模型按照层进行切分，不同的层分配给不同的 GPU。数据像流水线一样，从前面的 GPU 传递到后面的 GPU。
工作流程：
气泡问题（Bubble）：由于流水线特性，后面的 GPU 必须等待前面的 GPU 完成计算才能开始，导致部分 GPU 闲置。为了解决这个问题，通常引入微批次（Micro-batch）技术，将一个大 Batch 拆分为更小的 Micro-batch，交错执行不同层的计算，从而减少空闲时间。
ZeRO 是 DeepSpeed 提出的一种优化技术，旨在进一步减少显存占用。它属于数据并行的范畴，但通过分片优化器状态、梯度和参数来实现。
ZeRO 的三个阶段：
ZeRO-Offload：可以将计算量小且低频使用的参数（如优化器状态、FP32 参数）卸载到 CPU 上，从而释放 GPU 显存。这在混合精度训练中尤为有效，能在不影响计算精度的前提下显著提升可训练的模型规模。
选择合适的并行策略取决于硬件资源、网络环境和模型大小。
在实际的大模型训练中，单一并行策略往往难以满足需求，通常采用混合并行方案。
大模型训练的核心挑战在于显存容量与通信带宽的平衡。数据并行适合大多数场景，但受限于单卡显存；张量并行解决了单层显存不足的问题，但增加了通信成本；流水线并行解决了模型层数过多导致的显存问题，但引入了气泡延迟；ZeRO 则通过激进的分片策略最大化显存利用率。
开发者应根据具体的硬件集群配置和网络拓扑，灵活组合上述策略。例如，在资源有限的情况下，优先启用 ZeRO Stage 3 以扩大模型规模；在追求极致速度时，则需优化流水线调度以减少气泡。理解这些并行机制的原理，是构建高效大模型训练系统的基础。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
