大模型训练实战经验总结

大模型的训练如何简单地理解

直接决定训练时间的数据量是 Token 个数。

• Token 数量公式：Token 的数量 = Epoch * 数据条数 * 平均数据长度 * token 转换比
• Token 理解：通常一个中文/英文单词会变成一个 Token，也就是数字向量。
• Epochs：决定 Dataset 的数据要重复几次。
• Batch Size：决定每张卡一次训练放入几个样本进行推理，这样可以使得模型训练的结果更具备均衡性。
• Learning Rate：作用于优化器中，全量训练推荐 2e-5，LoRA 训练推荐 5e-5。随着 batch_size 变大 Learning rate 也需要变大，按照大模型经验公式为根号下同比，例如 batch 从 8 变为 16 扩大 2 倍，则 LR 扩大根号二倍。

训练流程的简单理解：

1. 针对模型生成的'字 (Token)'来和正确答案对比，得到损失函数。
2. 将损失函数交给 Optimizer 对模型优化进行指导，从后往前优化，选择每一次最影响的内容进行修改。
3. 通过数据量的不断叠加，模型逐渐优秀。

显存资源需求分析（全量训练）

在神经网络的推理阶段，没有优化器状态和梯度，也不需要保存中间激活。少了梯度、优化器状态、中间激活，推理阶段占用的显存要远远小于训练阶段。

在训练过程中，占用显存的大头主要分为四个部分：

• 模型参数
• 前向传播过程中的激活值
• 反向传播过程中的梯度
• 优化器状态

通常训练大模型会采用 AdamW 优化器，并且采用混合精度来加速训练。在一次的训练迭代中，每一个可以训练的参数都会有对应的 1 个梯度值，2 个优化器状态（Adam 优化器梯度的一阶动量和二阶动量）。假设模型的参数量为 φ，那么梯度的参数数量也是 φ，AdamW 优化器的参数数量为 2φ。

已知 float16（bf16）数据类型的参数会展 2 个 bytes，float32 数据类型的参数会占 4 个 bytes。

在混合精度训练的时候，会使用 float16 的模型参数进行前向传播和反向传播，计算得到 float16 的梯度；在优化器更新模型参数时，会使用 float32 的优化器状态、float32 的梯度、float32 的模型参数来更新模型参数。因此，针对每个可训练的模型参数，占用了 (2+4)+(2+4)+(4+4) = 20 bytes。如果使用 AdamW 优化器和混合精度训练来训练参数量为 φ的大模型，模型参数、梯度和优化器状态占用的显存大小为 20φ bytes。

训练优化策略补充

为了进一步提升训练效率并降低显存占用，实际工程中常采用以下技术：

• DeepSpeed / FSDP：分布式训练框架，支持 ZeRO 优化，可将优化器状态、梯度和激活值分片存储在不同 GPU 上，显著降低单卡显存压力。
• Gradient Checkpointing：通过牺牲计算时间换取显存空间，只保存必要的中间激活值，反向传播时重新计算。
• Mixed Precision Training：使用 FP16 或 BF16 进行计算，减少显存占用并提升吞吐量。

微调方案选择

基模型的 Base 和 Chat 选择

首先，有两种不同的基座模型分别是 base 和 chat 两个版本，我们要明白其中的不同：chat = base + sft。

仅用 SFT 做领域模型时：

• 资源有限：用在 Chat 模型基础上训练。
• 资源充足：在 Base 模型上训练。

基模型的 Base 和 Chat 选择准则：

• 垂域和基模型差异过大，选择 base 版本，可以先进行知识注入再进行指令微调。
• 资源不充足下，采用 chat 版本具有一定的对话能力。
• LoRA 选择 chat 版本。
• 数据限制：数据小于 10k，选择 chat 版本；数据大于 100k，选择 base 版本。

额外小技巧：

1. 领域技术标准文档或领域相关技术是领域模型的二次预训练的关键所在。
2. 垂直领域训练过后，往往通用能力就会有所下降，因此在训练模型时候需要一定的数据配置来解决这个问题。根据 BloombergGPT 预训练金融和通用数据基本为 50%，ChatHome 二次预训练发现：领域数据与通用数据的配置大约为 1:5。在全量 SFT 过程中需要 50% 的数据。因此领域数据的训练配置大约在 20-50% 之间。
3. 在二次预训练同步加入 SFT 数据，即 MIP (Multi-Task Instruction Pre-Training)。
4. 领域评测集是必要内容，建议准备两份，一份选择题形式自动评测，另外一份形式为人工评测。

LoRA 训练详解

在 transformers 层针对 q_proj, k_proj 层设计一个旁路，通过低秩分解，来进行模型参数的更新。利用矩阵乘法具备的广播来完成训练的时候原始模型全部固定，只有旁路参与训练，训练矩阵 BA 推理的时候会将矩阵 BA 相加到原始权重上，不会引入额外的推理延迟（合并模型 Merge），针对于任务的切换可以通过切换支路来完成。

通过低秩参数来改变模型参数，从而以极小的参数量来实现大模型的间接训练。

LoRA 训练的优点：

• 只更新了一部分的参数。
• 减少了通信时间。
• 采用了各种低精度的加速技术。
• 加速。

LoRA 训练的缺点：

• 参与训练的模型参数量是不足的，就是只有千分之三 - 千分之五左右，所以效果相差比较大。
• 如果在具备足够资源且数据量超过 10K，推荐采用全量微调，LoRA 只是解决了计算资源不够的场景下的问题。

数据格式规范

二次预训练（Pre-train, PT）

• 主要数据格式：文本段。
• 适用类型：通用支持或无法有效整理成 QA 知识的。
• 示例：

{
    "completion": "下埔，是台湾宜兰县头城镇的一个传统地域名称...",
    "source": "wikipedia.zh"
}

有监督学习（Supervised Finetune, SFT）

• 主要数据格式：QA 问答。
• 适用类型：微调的主要场景，垂直领域应用私有化重点能力。
• 示例：

{
    "instruction": "你是谁？",
    "input": "",
    "output": "我是一个由 XXX 自主训练的生成式自然语言处理模型...",
    "history": [
        ["你好", "你好呀！请问有什么需要帮助的地方？"]
    ]
}

奖励模型（Reward Model, RM）

• 主要数据格式：带有排序的 QA 方案。
• 适用类型：用于 SFT 后的模型能力增强，训练奖励模型协助对模型结果进行优化符合人类预期。
• 示例：

{
    "instruction": "我需要举办 6 人晚宴。你能帮我推荐三道不包括坚果或海鲜的菜吗？",
    "input": "",
    "output": [
        "好的，我将为您推荐三道不包含坚果或海鲜的菜...",
        "尖椒干豆腐，土豆丝，红烧肉",
        "如果是六个人，就点八个菜..."
    ],
    "history": []
}

DPO / PPO 直接偏好优化

• 主要数据格式：偏好对。
• 使用类型：直接跳过对应的 RM 训练过程中，利用数据来完成强化学习操作。
• 示例：

{
    "instruction": "解释为什么下面的分数等于 1/4\n4/16",
    "input": "",
    "output": [
        "分数 4/16 等于 1/4，因为分子和分母都可以被 4 整除...",
        "1/4 与 1/4 相同。"
    ]
}

在 output 中有两个答案，分别表示 chosen 和 reject 来表示数据是否接收。

中文大模型训练经验

根据贝壳论文中的消融实验可以看出：

1. 扩充中文词表后，可以增量模型对中文的理解能力，效果更好。
2. 数据质量越高越好，而且数据集质量提升可以改善模型效果。
3. 数据语言分布，加了中文的效果比不加的好。
4. 数据规模越大且质量越高，效果越好，大量高质量的微调数据集对模型效果提升最明显。

垂域模型的二次预训练数据选择

对于垂域模型的二次预训练，我们推荐采用的是一些比较具有高密度知识的数据文档，可以帮助模型获取对应的数据内容，例如技术文档、书籍这些内容。其次就是领域内的博客和相关介绍这其中包含很多的无用内容。

领域模型 Continue PreTrain 时可以同步加入 SFT 数据，即 MIP (Multi-Task Instruction Pre-Training)。预训练过程中，可以加下游 SFT 的数据，可以让模型在预训练过程中就学习到更多的知识。

如何解决 SFT 训练变傻的问题

SFT 只是一些帮助大模型获取涌现能力的手段，并不是进行大模型注入新知识的方案，因此如果领域分布差异过大且过于单一，非常容易出现这种情况。

1. 代表性：应该选择多个有代表性的任务。
2. 数据量：每个任务实例数量不应太多（比如：数百个），否则可能会潜在地导致过拟合问题并影响模型性能。
3. 不同任务数据量占比：应该平衡不同任务的比例，并且限制整个数据集的容量（通常几千或几万），防止较大的数据集压倒整个分布。

此外，还有一些由于训练过程中的超参数导致训练效果比较差：微调初始学习率不要设置太高，lr=2e-5 或者更小，可以避免此问题，不要大于预训练时的学习率。

其他参考建议：

1. Prompt 的多样性：丰富多样的 prompt 数据，可以让模型更多的了解人类的指令，包括指令的意思，复杂指令中每一步的含义。Prompt 的丰富程度决定了模型指令遵循的能力。
2. Answer 的质量：Answer 的质量包括内容和格式两方面，一方面内容的正确性需要得到保证，一方面内容的格式也很重要，细节丰富，逻辑缜密的 answer 可以激发模型更多的回答能力。

SFT 阶段不能太多的知识注入：过多的知识注入，或者超过模型能力本身的回答过多会导致对齐困难，会影响其学习指令遵循的能力。

常见的模型测评内容

• 知识面广度：请模型回答关于不同主题的问题。
• 理解能力：提出一些需要深入理解文本的问题，看看模型能否正确回答。
• 语言生成能力：让模型生成一段有关特定主体的文章或故事，评估其生成的文本在结构、语法和逻辑上的质量。
• 知识度广度：请模型回答关于不同主体的问题，以测试其对不同领域的知识掌握程度。
• 适应性：让模型处理各种不同类型的任务，例如写作、翻译、编程等。
• 长文本理解：提出一些需要处理长文本的问题。
• 长文本生成：模型创作一个故事或者文章，具备完整的情节，且不出现明显的逻辑矛盾或结构错误。
• 伦理和道德：测试模型在处理有关道德和伦理问题时候的表现。
• 对话和聊天：进行对话，测试其对自然语言处理的掌握程度。
• 逻辑推理能力：请模型回答需要具备一定推理或者逻辑分析的题目。
• 问题解决能力：提供实际问题，例如数学、编程能力，看看模型是否能给出正确的回答。
• 情感分析能力：提供一段文本或者对话，让模型分析其中的情感和态度是否正确。

结语

通过解析训练流程、微调策略选择、资源需求评估，以及中文模型训练的独到见解，本文为读者勾勒出一幅清晰的大模型训练全景图。进一步也揭示了如何有效评测模型性能，确保其在知识广度、逻辑推理、情感理解等多维度达到高标准，为推动 AI 技术在各行各业的创新应用提供了宝贵的实操指南。