深入解析大模型分布式训练的四大核心并行策略：数据并行、张量并行、流水线并行及 ZeRO。内容涵盖原理机制、显存优化方案、通信开销分析及 PyTorch 实践示例。通过对比不同场景下的资源消耗与计算效率，为开发者在单机多卡或多机多卡环境下选择合适的训练架构提供技术依据，旨在解决单卡显存不足及训练速度慢的问题。
随着大语言模型（LLM）参数量级的不断攀升，单卡显存已无法容纳整个模型权重。当训练数据规模扩大时，单卡训练不仅速度极慢，甚至因 OOM（Out Of Memory）错误而无法启动。为了解决这一问题，利用多 GPU（单机多卡或多机多卡集群）进行分布式并行训练成为标准方案。
本文详细解析四种主流并行策略：数据并行（DP/DDP）、模型张量并行（TP）、流水线并行（PP）以及 ZeRO 优化技术，并对比其适用场景与实现细节。
数据并行是最基础的并行方式。在 DP 模式下，每个 GPU 都加载一份完整的模型副本，将输入数据分割成多个批次（Batch），分别送入不同的 GPU 进行前向传播和反向传播计算。
虽然概念相似，但实际工程中常用的是 DDP（Distributed Data Parallel）而非传统的 DP。
import torch.distributed as dist
import torch.multiprocessing as mp
def train(rank, world_size):
# 初始化进程组
dist.init_process_group("nccl", rank=rank, world_size=world_size)
# 设置设备
torch.cuda.set_device(rank)
model = MyModel().to(rank)
ddp_model = DistributedDataParallel(model, device_ids=[rank])
# 训练循环...
dist.destroy_process_group()
if __name__ == "__main__":
world_size = torch.cuda.device_count()
mp.spawn(train, args=(world_size,), nprocs=world_size, join=True)
ZeRO（Zero Redundancy Optimizer）是 DeepSpeed 提出的优化技术，旨在进一步减少显存占用。它属于数据并行的范畴，但通过将模型状态分片到不同 GPU 上，实现了比传统 DP 更高的显存利用率。
ZeRO 根据分片粒度的不同分为三个阶段：
ZeRO-Offload 进一步优化了资源分配。它将计算量小且使用频率低的参数（如优化器状态、FP32 参数）卸载到 CPU 内存中。虽然 CPU 计算速度慢，但在不影响整体训练效果的前提下，节省了宝贵的 GPU 显存，使得在消费级显卡上训练更大模型成为可能。
当模型层数过多，单层模型也无法放入单卡显存时，流水线并行将模型按层拆分。例如，一个 8 层的模型，GPU0 存储前 4 层，GPU1 存储后 4 层。
在标准流水线中，GPU1 必须等待 GPU0 完成前向计算才能开始工作，导致 GPU 闲置，形成"气泡"（Bubble）。为了缓解此问题，引入微批次（Micro-batch）策略：将一个大 Batch 拆分为多个小 Micro-batch，交错执行前向和反向传播，使不同 GPU 同时处理不同阶段的数据，最大化硬件利用率。
张量并行解决的是单个 Layer 过大无法放入单卡的问题。它将矩阵运算中的 Tensor 切分，分布在不同 GPU 上。
以 Transformer 中的线性层为例，假设计算 $Y = XA$。
在 Transformer 架构中，通常结合 GeLU 等激活函数。若 A 按列拆分，GeLU(XA) 可在单卡内完成，随后 B 按行计算。这种设计减少了中间结果的通信次数，仅在关键节点进行同步。
在实际大规模训练中，单一并行策略往往无法满足需求，通常采用组合策略。
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| 模型 < 单卡显存 | DDP | 简单高效，通信开销最小 |
| 模型 > 单卡显存 | ZeRO-2/3 | 显存利用率最高 |
| 层数极多 | PP | 避免单层显存溢出 |
| 单层矩阵极大 | TP | 解决矩阵乘法维度限制 |
大模型训练的核心在于平衡计算效率与显存限制。数据并行适合大多数场景，ZeRO 提供了更精细的显存管理，流水线并行解决了层数限制，张量并行突破了矩阵维度瓶颈。开发者应根据集群硬件条件（GPU 数量、互联带宽、显存大小）灵活选择组合策略，以实现训练成本与速度的最优解。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online