大型语言模型（LLMs）的训练原理与网络架构解析

一旦基础模型训练完成，通常会进行监督微调（Fine-Tuning, SFT）。这是一个可以让 LLMs 扮演助手角色，回答人们提示问题的重要步骤。在有监督微调中，人们会创建一个精心策划的数据集（数量较少但质量很高的数据集），其中包含提示和响应的形式，然后使用这个数据集重新训练基础模型。经过训练的 SFT 模型会成为一个能对用户提示作出类似人类回应的助手。

模型计算与硬件需求

一个具有 1750 亿参数的模型通常需要超过 1TB 的内存来存储参数和计算过程中的中间状态。它还需要存储检查点的训练状态（以防在训练迭代过程中遇到硬件错误）。一万亿个标记通常需要 4TB 的存储空间。像 Nvidia 的 H100 这样的高端 GPU 具有 80GB 的集成 HBM 内存。如果一个模型需要 4TB 显存，理论上需要 51.2 张卡才能装下。

根据维基百科的说法，大型语言模型（LLM）通常每个参数和标记需要进行六次浮点运算（FLOP）。这相当于对 GPT-3 模型进行训练需要进行 $3.15 \times 10^{23}$ 次浮点运算，其中 GPT-3 模型的训练耗时为三周。因此，在这三周的时间内，它需要 $5.8 \times 10^{16}$ 次每秒的浮点运算能力（FLOPs）。

然而，尽管 Nvidia 的最高性能 H100 GPU 在 FP32 模式下可以达到约 67 TeraFLOPS，但在许多训练工作负载中，由于内存和网络瓶颈，GPU 的利用率通常只能维持在 30% 左右。因此，为了满足训练需求，我们需要三倍数量的 GPU，大约是 6,000 个 H100 GPU。原始的 LLM 模型是使用较旧版本的 GPU 进行训练的，因此需要 10,000 个 GPU。

由于有成千上万个 GPU，模型和训练数据集需要在这些 GPU 之间进行分区，以实现并行运行。并行性可以在多个维度上发生。

数据并行性（Data Parallelism）

数据并行性涉及将训练数据分割到多个 GPU 上，并在每个 GPU 上训练模型的副本。典型流程包含数据分布、数据复制、梯度计算、梯度聚合、模式更新和重复等。

1. 数据分布：训练数据被划分为小批量，并在多个 GPU 之间分布。每个 GPU 获得一个独特的小批量训练集。
2. 模型复制：模型的副本被放置在每个 GPU 上（也称为工作节点）。
3. 梯度计算：每个 GPU 执行一次模型训练迭代，使用其小批量数据进行前向传播以进行预测，并进行反向传播以计算梯度（这些梯度指示模型参数在下一次迭代之前应如何调整）。
4. 梯度聚合：来自所有 GPU 的梯度被汇总在一起。通常通过计算梯度的平均值来完成此步骤。
5. 模型更新：汇总的梯度被广播到所有 GPU。各个 GPU 更新其本地模型参数并进行同步。
6. 重复：此过程重复多次，直到模型完全训练完成。

数据并行性可以在使用大型数据集时显著加快训练速度。然而，它可能会导致大量的 GPU 间通信，因为每个 GPU 都必须与训练中涉及的其他 GPU 通信。这种全对全的通信（All-to-All）可能会在每次训练迭代中在网络中产生大量的流量。

训练大型语言模型（LLMs）时，我们使用了一些方案，例如环形全局归约（Ring All-Reduce），将梯度以环形模式从一个 GPU 发送到另一个 GPU。在这个过程中，每个 GPU 将其从前一个 GPU 接收到的梯度与本地计算的梯度进行聚合，然后将其发送到下一个 GPU。然而，这个过程非常缓慢，因为梯度聚合分布在多个 GPU 之间，最终结果需要在环形拓扑中传播回所有 GPU。如果网络拥塞，GPU 之间的流量会因等待聚合梯度而停滞。

此外，具有数十亿参数的 LLMs 无法适应单个 GPU。因此，仅靠数据并行性无法满足 LLM 模型的需求。

模型并行性（Model Parallelism）

模型并行性旨在解决模型无法适应单个 GPU 的情况，通过将模型参数（和计算）分布到多个 GPU 上。典型的流程包含模型分区、前向传播、反向传播、参数更新、重复等。

1. 模型分区：将模型划分为若干个分区，每个分区分配给不同的 GPU。由于深度神经网络通常包含一系列垂直层，因此按层次划分大型模型是合乎逻辑的，其中一个或一组层可能分配给不同的 GPU。
2. 前向传播：在前向传播过程中，每个 GPU 使用'整个'训练集计算其模型部分的输出。一个 GPU 的输出作为下一个 GPU 的输入传递。下一个 GPU 在接收到前一个 GPU 的更新之前无法开始处理。
3. 反向传播：在反向传播过程中，一个 GPU 的梯度传递给序列中的前一个 GPU。在接收到输入后，每个 GPU 计算其模型部分的梯度。与前向传播类似，这在 GPU 之间创建了顺序依赖关系。
4. 参数更新：每个 GPU 在其反向传播结束时更新其模型部分的参数。需要注意的是，这些参数不需要广播到其他 GPU。
5. 重复：此过程重复多次，直到模型在所有数据上训练完成。

模型并行性允许训练无法适应单个 GPU 的大型模型。但是，它还在前向和反向传播期间引入了 GPU 之间的通信。此外，上述描述的简单实现方式，即将整个训练数据集通过一系列 GPU 运行，对于 LLMs 来说可能不太实际，因为数据集的规模巨大。它还在 GPU 之间创建了顺序依赖关系，导致等待时间较长且计算资源严重闲置。这就是流水线并行性的作用。

流水线并行性（Pipeline Parallelism）

流水线并行性将数据并行性和模型并行性相结合，其中训练数据集的每个小批量进一步分成几个微批量。在上面的模型并行性示例中，一个 GPU 使用第一个微批量计算输出，并将该数据传递给序列中的下一个 GPU。与在反向传播中等待从该 GPU 获取输入不同，它开始处理训练数据集的第二个微批量，依此类推。这增加了 GPU 之间的通信，因为每个微批量都需要在序列中相邻的 GPU 之间进行前向传播和反向传播的通信。

张量并行性（Tensor Parallelism）

张量并行性是一种用于加速深度学习模型训练的技术。与模型并行和流水线并行技术不同，张量并行性在操作级别（或'张量'级别）上划分模型，而不是在层级别上划分。这种方法允许更精细的并行处理，对某些模型来说更高效。

具体来说，张量并行性的步骤如下：

1. 模型分区：将模型划分为多个操作（或'张量'），每个操作分配给不同的 GPU。这样，每个 GPU 只负责计算部分操作的输出。
2. 前向传播：在前向传播过程中，每个 GPU 使用整个训练集计算其操作部分的输出。一个 GPU 的输出作为下一个 GPU 的输入传递。这样，模型的计算被分散到多个 GPU 上。
3. 反向传播：在反向传播过程中，梯度从一个 GPU 传递到序列中的前一个 GPU。每个 GPU 计算其操作部分的梯度。与前向传播类似，这也创建了 GPU 之间的顺序依赖关系。
4. 参数更新：每个 GPU 在其反向传播结束时更新其操作部分的参数。这些参数不需要广播到其他 GPU。

混合并行策略案例

假设我们有 2 台机器（node0 和 node1），每台机器上有 8 块 GPU，GPU 的编号为 0~15。我们使用这 16 块 GPU，做 MP/DP/TP/PP 混合并行：

1. MP：模型并行组（Model Parallelism）：假设一个完整的模型需要布在 8 块 GPU 上，则共布了 2 个 model replica（2 个 MP）。MP 组为：[[g0, g1, g4, g5, g8, g9, g12, g13], [g2, g3, g6, g7, g10, g11, g14, g15]]
2. TP：张量并行组（Tensor Parallelism）：对于一个模型的每一层，我们将其参数纵向切开，分别置于不同的 GPU 上，则图中一共有 8 个 TP 组。TP 组为：[[g0, g1], [g4, g5], [g8, g9], [g12, g13], [g2, g3], [g6, g7], [g10, g11], [g14, g15]]
3. PP：流水线并行组（Pipeline Parallelism）：对于一个模型，我们将其每一层都放置于不同的 GPU 上，则图中一共有 4 个 PP 组。PP 组为：[[g0, g4, g8, g12], [g1, g5, g9, g13], [g2, g6, g10, g14], [g3, g7, g11, g15]]
4. DP：数据并行组（Data Parallelism）：经过上述切割，对维护有相同模型部分的 GPU，我们就可以做数据并行，则图中共有 8 个 DP 组。DP 组为 [[g0, g2], [g1, g3], [g4, g6], [g5, g7], [g8, g10], [g9, g11], [g12, g14], [g13, g15]]

网络架构对 LLM 训练的影响

读完本文，相信你对训练大语言模型（LLMs）的三个步骤已经很熟悉：通过网络抓取等方式进行数据集集成；将源文本分割为标记；通过模型参数并行处理的方式进行模型训练。相信你也对大数据模型的多种并行类型有了初步认识：无论使用何种并行性类型，LLM 凭借其参数和数据集的庞大规模，都会通过连接这些 GPU 的结构产生大量的 GPU 间流量。结构中的任何拥塞都可能导致训练时间过长且 GPU 利用率极低。

作为网络工程师，理解 LLM 训练对网络基础设施的要求至关重要。以下从技术和市场角度分析网络在其中的关键作用：

1. 网络在 LLM 训练中的核心地位

LLMs 训练之初便需要通过网络抓取大量的数据集成数据集，数据集中的大量参数和数据需要通过网络传输到 GPU 上进行并行处理，网络连接的质量直接影响了数据传输的速度和效率。LLMs 的训练会涉及到多个 GPU 的协同工作，连接这些 GPU 的网络结构会产生大量的 GPU 间流量，如果网络拥塞，数据传输会受到影响，导致训练时间过长且 GPU 利用效率降低。

因此，网络的稳定性、速度和带宽都对 LLMs 的训练效果至关重要。 网络拥塞可能导致训练效率下降，因此需要优化网络架构，确保数据传输的高效性。

2. 智算网络的关键指标

在构建支持 LLM 训练的智算中心时，网络设计需重点关注以下指标：

• 高带宽：GPU 间通信（如 NCCL 库）需要极高的吞吐量，通常要求 100GbE 或 InfiniBand 网络。
• 低延迟：在流水线并行和张量并行中，微小的延迟累积会导致显著的等待时间，影响整体训练效率。
• 无损网络：TCP/IP 协议的重传机制在高吞吐场景下会严重拖慢训练速度，因此常采用 RoCEv2 等 RDMA 技术配合 PFC（优先级流控）和 ECN（显式拥塞通知）来实现无损以太网。
• 拓扑结构：常见的 Fat-Tree（胖树）或 Dragonfly（龙飞）拓扑能有效减少跨机架通信跳数，降低拥塞风险。

3. 未来展望

人工智能作为人们高度关注的热点话题，在许多领域拥有巨大的市场潜力。LLMs 训练完毕后，大模型与用户的交互过程中（如 ChatGPT 爆火，全球很多用户都在使用的情况），网络质量会直接影响用户对 Gen AI 应用的体验。拥有先进技术和工具是企业保持竞争优势的关键，持续关注智算市场的发展，推出相应的网络解决方案，为用户提供良好的网络环境，是实现用户与自身双赢的关键。

结语

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。如果你能深入理解大模型背后的网络需求，你就已经开始具备成为一名 AI 基础设施专家的特征了。后续将继续推出 AI 系列科普文，为大家介绍 GPU/TPU 集群设计，以了解互连以及它们如何进行 LLM 训练。