大语言模型训练涉及 Transformer 架构理解、数据预处理及多种训练策略。本文涵盖预训练、微调及 LoRA/QLoRA 高效微调方法，介绍计算资源获取方案与数据集构建规范。详细解析批量大小、学习率、梯度累积等超参数配置，并通过学习曲线分析欠拟合与过拟合现象，为开发者提供从零开始训练 LLM 的技术参考。
人工智能技术正以前所未有的速度渗透到我们生活的方方面面。从智能手机上的语音助手到自动驾驶汽车，AI 的应用无处不在。而在这些令人惊叹的技术背后，大语言模型（LLM）扮演着至关重要的角色。它们不仅能够理解和生成自然语言，还能在多种场景下提供智能决策支持。
对于许多对 AI 感兴趣的人来说，大语言模型的训练和应用似乎是一件高不可攀的事情。复杂的技术术语、晦涩的理论知识，以及高昂的硬件要求，往往让人望而却步。但其实，只要掌握正确的方法和工具，每个人都能成为 AI 领域的探索者和实践者。
本文将带你一步步了解大语言模型的基本概念、训练流程以及如何评估模型性能。无论你是编程新手，还是对 AI 有一定了解的探索者，本指南都将为你揭开大语言模型的神秘面纱，让你能够轻松上手，快速掌握 AI 的核心技能。
目前，Transformer 架构在语言建模领域占据主导地位，这项由 Vaswani 等人提出的技术源自于开创性论文《Attention Is All You Need》。在本文中，我们将不会深入挖掘 Transformer 的技术细节，因为那将涉及到许多前驱技术。简而言之，Transformer 架构不仅使我们能够培育出具备卓越推理能力的大型语言模型（LLM），而且其简洁性使得机器学习新手也能够轻松入门。
Python 是训练和构建 Transformer 模型的首选编程语言，它的高级特性让其更接近自然语言，而非底层机器代码，这大大降低了普通人参与 LLM 训练的门槛。HuggingFace Transformers 库是目前最受追捧的 LLM 工具库，它几乎成为了 LLM 训练者的标配。
那么，什么是 LLM？可以将其视作一种高级的文本压缩技术。LLM 通过创建带有随机值和参数的张量（可以想象为多维矩阵），并输入大量文本数据（通常以 TB 计），学习数据中的关联和模式。这些模式以概率形式存储于张量中，模型学会了预测一个词后面跟随另一个词的可能性。因此，LLM 可以被理解为将一种语言的概率分布转换成一系列矩阵的形式。
例如，如果你输入'你是'，LLM 会计算出下一个词的概率分布。它可能预测出'谁？'的概率为 60%，'中国人'的概率为 20%，等等。
通常，LLM 的训练是从零开始的，即随机初始化模型的参数，这一过程需要巨大的计算资源和高昂的成本（对于大型模型可能涉及数百万美元的投入）。因此，对于大多数人而言，采取'微调'方法更为实际。微调即是在预训练模型的基础上，通过输入少量数据（通常是几 MB）来调整模型，使其更好地适应特定的任务。比如，如果你想培养一个编程代码助手，就可以通过对代码样本的微调来实现。
理解 Transformer 架构在微调（fine-tuning）模型的过程中虽非强制，但了解其基本工作原理对于高效使用相关技术是大有裨益的。尤其当您需要执行特定脚本，这些脚本旨在调用 Transformers 库中的 Trainer 类时，基础知识显得尤为重要。
要深入了解 Transformer 架构，阅读《Attention Is All You Need》论文无疑是最佳起点。作为深度学习领域的标杆文献，它详细阐述了 Transformer 模型的构建与运作原理。然而，在深入探究之前，建议读者具备一定的神经网络基础，以便更好地理解论文内容。推荐的阅读路径为：
论文太难读懂？
别担心，你不是唯一一个觉得学术论文晦涩难懂的人。一般研究人员会故意使用复杂的语言来描述他们的研究成果。你可以尝试阅读一些博客文章或科普文章，它们通常会用更通俗易懂的方式解释相关概念。HuggingFace 的博客文章是一个不错的资源。
训练 LLM 主要有三种方法：预训练、微调和 LoRA/QLoRA。
预训练过程包括以下步骤：
模型的训练过程是一个不断迭代优化的过程，目标是让模型能够根据上下文，尽可能准确地预测出正确的词语或句子。预训练阶段通常采用一种称为'自监督学习'的技术，例如掩码语言模型 (Masked Language Modeling) 或因果语言模型 (Causal Language Modeling)。掩码语言模型会将句子中的某些词语遮盖住，然后让模型根据上下文预测这些被遮盖的词语；而因果语言模型则会让模型根据前面的词语预测下一个词语。
预训练的目的是让模型学习通用的语言知识，使其成为一个优秀的语言编码器。然而，预训练模型通常缺乏针对特定任务或领域的知识。为了解决这个问题，我们需要进行下一步：微调。
微调是指使用预训练模型，并输入少量特定领域的数据，来调整模型的行为，使其适应特定的任务。微调的步骤如下：
微调过程中会使用一些优化算法，例如随机梯度下降 (SGD) 或 Adam，来更新模型的参数，使模型的预测结果更加准确。为了提高微调的效果，还可以使用学习率调度、正则化方法（例如 dropout 或权重衰减）或提前停止等技术。
微调模型需要大量的计算资源，尤其是对于包含数十亿参数的大型模型来说。为了解决这个问题，研究人员提出了一种新的方法：低秩自适应 (Low-Rank Adaptation, LoRA)。LoRA 可以大幅减少模型训练所需的计算量和内存占用。与使用 Adam 算法微调 OPT-175B 模型相比，LoRA 可以将可训练参数的数量减少 10,000 倍，并将 GPU 内存需求减少 3 倍以上。
为了进一步降低内存需求，研究人员又提出了量化低秩自适应 (Quantized Low-Rank Adaptation, QLoRA) 方法。QLoRA 使用 bitsandbytes 库对模型进行量化，可以在普通消费级 GPU 上训练包含 700 亿参数的超大型模型。
本文的后续部分将重点介绍微调和 LoRA/QLoRA 方法的具体操作步骤。
正如之前提到的，微调模型的成本取决于你选择的模型大小。通常来说，你需要至少 60 亿到 70 亿参数的模型才能获得比较好的效果。接下来，我们将探讨获取训练所需计算资源的几种方法。
训练 LLM 需要大量的计算资源，尤其是内存。所需的内存大小取决于你的模型大小和数据集大小。你可以参考 EleutherAI 的 Transformer Math 101 这篇文章，了解详细的计算方法。
假设你要微调一个 70 亿参数的模型，例如 Llama-2 7B 或 Mistral 7B。这类模型通常需要 160GB 到 192GB 的内存。你可以考虑以下几种获取计算资源的方案：
数据集是微调模型的关键。数据集的质量和数量都很重要，但质量更为关键。
首先，你需要明确你希望微调后的模型能够做什么。例如，写故事、进行角色扮演、帮你写邮件，或者创建一个 AI 聊天机器人。假设你想要训练一个像 Pygmalion 这样的聊天和角色扮演模型，那么你需要收集大量的对话数据，尤其是互联网角色扮演风格的对话。收集数据可能是一个比较困难的过程，需要你自己想办法解决。
构建数据集时，需要注意以下几点：
收集到的原始数据可能需要进行一些处理，才能用于训练模型。假设你的数据集是以下几种格式之一：
from bs4 import BeautifulSoup
# 要解析的 HTML 内容
html_content = '''示例 HTML 页面
欢迎来到示例页面
这是一段文本。
### 第一部分
这是第一部分的内容。
### 第二部分
这是第二部分的内容。'''
# 创建一个 BeautifulSoup 对象
soup = BeautifulSoup(html_content, 'html.parser')
# 从 HTML 提取文本
text = soup.get_text()
# 打印提取的文本
print(text)
你将得到这样的输出：
示例 HTML 页面 欢迎来到示例页面 这是一段文本。 第一部分 这是第一部分的内容。 第二部分 这是第二部分的内容。
如果你从开放数据源获取数据，你的数据可能是 CSV 格式。可以使用 pandas 库轻松解析 CSV 文件。基本用法如下：
import pandas as pd
# 阅读 CSV 文件
df = pd.read_csv('dataset.csv')
# 从特定列中提取明文
column_data = df['column_name'].astype(str)
plaintext = column_data.to_string(index=False)
# 打印提取的明文数据
print(plaintext)
这里必须要指定列名。
解析 SQL 数据集稍微复杂一些。你可以使用数据库框架（如 MariaDB 或 PostgreSQL）将数据导出为纯文本，也可以使用 Python 库（如 sqlparse）进行解析。sqlparse 的基本用法如下：
import sqlparse
# 拆分包含两个 SQL 语句的字符串：
raw = 'select * from foo; select * from bar;'
statements = sqlparse.split(raw)
statements
# ['select * from foo;', 'select * from bar;']
# 格式化第一条语句并打印出来：
first = statements[0]
print(sqlparse.format(first, reindent=True, keyword_case='upper'))
# SELECT *
# FROM foo;
# 解析 SQL 语句：
parsed = sqlparse.parse('select * from foo')[0]
parsed.tokens
# [<DML 'select' at 0x7f22c5e15368>, <Whitespace ' ' at 0x7f22c5e153b0>, <Wildcard '*' … ]
优秀的语言模型通常具有随机性，这意味着即使输入相同的提示，模型的输出也可能不同。这种随机性有时会导致模型生成低质量或不理想的文本。因此，需要清理数据集中的噪声，例如无意义的字符、重复的内容等。
如果你的数据源是合成的（例如由 GPT-3/4 生成），则更需要注意清理噪声。建议去除诸如'作为一个 AI 语言模型…'、'有害或攻击性内容…'、'…由 OpenAI 训练…'等短语，因为这些短语可能会对模型训练产生负面影响。ehartford 的脚本和 gptslop （https://github.com/AlpinDale/gptslop）库可以帮助你完成这项任务。
本教程使用 axolotl 训练器进行微调，因为它易于使用且功能齐全。如果你使用云计算服务（如 RunPod），则可能已经满足了所有必要条件。
首先，克隆 axolotl 仓库并安装依赖项：
git clone https://github.com/OpenAccess-AI-Collective/axolotl && cd axolotl
pip3 install packaging
pip3 install -e '.[flash-attn,deepspeed]'
这将安装 axolotl，然后我们就可以开始微调了。
Axolotl 在一个 yaml 文件中获取所有训练选项。在示例目录中已经有一些示例配置，用于各种不同的模型。
在这个例子中，我们将使用 QLoRA 方法训练 Mistral 模型，这应该可以在单个 3090 GPU 上实现。要开始运行，只需执行以下命令：
accelerate launch -m axolotl.cli.train examples/mistral/config.yml
恭喜！你刚刚训练了 Mistral 模型！示例配置使用了一个非常小的数据集，训练时间应该在几分钟到几小时之间。
要使用自定义数据集，你需要将其格式化为 JSONL 文件。Axolotl 支持多种数据格式，你可以在文档中找到示例。然后，编辑 qlora.yml 文件，将数据集路径指向你的 JSONL 文件。所有配置选项的详细说明可以在文档中找到，点击'展开'按钮查看所有选项。
你现在已经了解了如何训练模型，下一节将介绍 LoRA 的原理及其有效性。
低秩适应 (LoRA) 是一种高效的训练方法，可以加速大语言模型的训练过程，同时降低内存消耗。LoRA 的核心思想是冻结预训练模型的大部分参数，仅训练一小部分新增的低秩矩阵。这些低秩矩阵通过秩分解技术获得，参数量远小于原始模型，因此可以有效减少内存占用和计算量。
LoRA 的优势包括：
这个参数决定了我们要使用多少个分解矩阵来降低模型的内存和计算成本。根据 LoRA 原始论文的建议，至少应该设置秩为 8 (r = 8)。但要注意，更高的秩虽然能带来更好的训练效果，但同时也需要更强大的计算资源。你的数据集越复杂，可能就需要设置更高的秩。如果你想进行一次全面的微调，可以将秩设置为与模型隐藏层的大小相同。不过，这样做可能会导致资源的极大浪费，因此并不推荐。你可以通过查看模型的配置文件 config.json，或者使用 Transformer 库的 AutoModel 功能并调用 model.config.hidden_size 方法来获取模型的隐藏层大小：
from transformers import AutoModelForCausalLM
model_name = "huggyllama/llama-7b" # 也可以是本地目录路径
model = AutoModelForCausalLM.from_pretrained(model_name)
hidden_size = model.config.hidden_size
print(hidden_size)
LoRA 缩放因子是用于调整模型对新训练数据适应程度的一个比例系数。这个系数会影响训练过程中更新矩阵的贡献度。如果设置得较低，模型就会更多地依赖原始数据，保留更多的已有知识；如果设置得较高，则会更多地适应新数据。
在这里，你可以指定哪些特定的权重和矩阵需要进行训练。通常，最先训练的是查询向量 (Query Vectors) 和值向量 (Value Vectors) 的投影矩阵。这些矩阵的名称会根据不同的模型而有所不同。你可以通过以下脚本来查询这些矩阵的确切名称：
from transformers import AutoModelForCausalLM
model_name = "huggyllama/llama-7b" # 也可以是本地目录路径
model = AutoModelForCausalLM.from_pretrained(model_name)
layer_names = model.state_dict().keys()
for name in layer_names:
print(name)
运行上述脚本后，你可能会得到类似下面的输出：
model.embed_tokens.weight
model.layers.0.self_attn.q_proj.weight
model.layers.0.self_attn.k_proj.weight
model.layers.0.self_attn.v_proj.weight
model.layers.0.self_attn.o_proj.weight
model.layers.0.self_attn.rotary_emb.inv_freq
model.layers.0.mlp.gate_proj.weight
model.layers.0.mlp.down_proj.weight
model.layers.0.mlp.up_proj.weight
model.layers.0.input_layernorm.weight
model.layers.0.post_attention_layernorm.weight
…
model.norm.weight
lm_head.weight
模型的权重命名规则大致如下：{identifier}.{layer}.{layer_number}.{component}.{module}.{parameter}。下面是对每个模块的简单解释（请注意，这些名称会根据不同的模型架构而有所变化）：
然而，有三个特殊的权重 (如果你的模型包含偏差权重，可能是四个) 并不符合上述的命名规则，它们省略了层名称和编号。这些权重包括：
QLoRA (量化低秩适配器) 是一种高效的模型微调 (finetuning) 方法，它减少了内存使用，同时保持了大型语言模型的高性能。使用 QLoRA，我们可以在单个 48GB 的 GPU 上微调一个 65B 参数的模型，并且不会降低 16 位微调任务的性能。
QLoRA 的主要创新包括：
在接下来的部分中，我们将详细介绍训练超参数 (hyperparameters) 的作用以及如何设置它们。
训练超参数在塑造模型的行为和性能方面起着至关重要的作用。这些超参数是指导训练过程的设置，决定了模型如何从提供的数据中学习。选择合适的超参数可以显著影响模型的收敛性、泛化能力和整体有效性。
在本节中，我们将解释在训练阶段需要仔细考虑的关键训练超参数，包括批量大小、时期、学习率、正则化等概念。通过深入了解这些超参数及其影响，您将能够有效地微调和优化您的模型，确保在各种机器学习任务中的最佳性能。
随机梯度下降 (SGD) 是一种常用的模型训练算法，它具有多个超参数可供使用。其中，批量大小和时期数是两个经常让新手感到困惑的概念。它们都是整数值，并且看起来做着同样的事情。让我们来详细解释一下：
我们将进一步把这一部分分成五个部分来详细解释。
随机梯度下降 (SGD) 是一种优化算法，用于找到模型的最佳内部参数，目标是最小化性能指标，例如对数损失 (logarithmic loss) 或均方误差 (mean squared error)。对数损失和均方误差都是衡量模型预测值与真实值之间差异的指标，值越小表示模型的预测越准确。
优化可以被认为是一个搜索过程，算法在这个过程中学习如何改进模型。使用的特定优化算法称为'梯度下降'。'梯度'指的是计算误差斜率或梯度，而'下降'表示沿着这个斜率向下移动，以接近最小误差水平，也就是找到最优的模型参数。
该算法以迭代方式工作，这意味着它会经历多个离散步骤，每个步骤都旨在增强模型参数。在每个步骤中，模型使用当前的内部参数集对样本子集进行预测。然后将这些预测与实际预期结果进行比较，从而计算出误差。然后利用该误差来更新内部模型参数。更新过程根据所使用的算法而有所不同，但在人工神经网络的情况下，使用反向传播 (backpropagation) 更新算法。
在深入探讨批量和时期的概念之前，让我们先解释一下'样本'的含义。
样本或序列是单行数据。它包含输入到算法中的输入和用于与预测进行比较并计算误差的输出。
训练数据集由多行数据组成，例如许多样本。样本也可以称为实例、观察值、输入向量、序列或特征向量。
现在我们知道了什么是样本，让我们定义一个批量。
批量大小 (batch size) 是一个超参数 (hparam)，它决定了在更新模型的内部参数之前处理多少个样本。可以把它想象成一个 'for 循环' (for-loop)，它迭代特定数量的样本并进行预测。在处理完批量后，将预测与预期输出进行比较，并计算出误差。然后使用该误差通过调整其参数来改进模型，使其朝着误差梯度的方向移动。
训练数据集可以分为一个或多个批量。以下是基于批量大小的不同类型的梯度下降算法：
通过调整批量大小，我们可以控制计算效率和学习过程的随机性之间的权衡，使我们能够找到有效训练模型的最佳平衡。
在小批量梯度下降的情况下，流行的批量大小包括 32、64 和 128 个样本。您可能会在大多数教程的模型中看到这些值的使用。
如果数据集不能被批量大小整除怎么办？
这经常发生。这意味着最后一个批量的样本比其他批量的样本少。您可以简单地从数据集中删除一些样本或更改批量大小，以便数据集中的样本数量可以被批量大小整除。大多数训练脚本会自动处理这个问题。
训练周期 (Epochs) 是一个超参数，它决定了学习算法将迭代整个数据集的次数。
一 (1) 个时期表示训练数据集中的每个样本都被使用过一次来更新模型的内部参数。它由一个或多个批量组成。例如，如果我们每个时期有一个批量，则它对应于前面提到的批量梯度下降算法。
您可以将时期数可视化为一个 'for 循环'，它迭代训练数据集。在这个循环中，还有另一个嵌套的 'for 循环'，它遍历每一批样本，其中一批样本根据批量大小包含指定数量的样本。
为了评估模型在时期内的性能，通常会创建折线图，也称为学习曲线。这些图在 x 轴上显示时期作为时间，在 y 轴上显示模型的误差或技能。学习曲线有助于诊断模型是过度学习（高训练误差，低验证误差）、学习不足（低训练和验证误差）还是达到了对训练数据集的合适拟合（低训练误差，合理低的验证误差）。我们将在下一部分深入研究学习曲线。
批次大小指的是在模型进行一次更新前，所处理的样本数目。
而周期数，则是模型完整遍历训练数据集的次数。
批次大小至少为一（bsz >= 1），且不能超过训练数据集的样本总数（bsz <= 样本数）。
周期数可以设定为从一（1）到无限大之间的任何整数值。你可以根据需要运行算法，甚至可以根据模型误差随时间的变化（或不变）来决定何时停止，而不仅仅是固定的周期数。
它们都是整数，并且是学习算法的超参数（hparams），即学习过程中的设置参数，而非学习过程中确定的内部模型参数。
在开始学习算法之前，你需要设置批次大小和周期数。
配置这些超参数没有固定的规则。你需要尝试不同的设置，以找到最适合你特定情况的配置。
下面是一个快速示例：
假设你有一个数据集，包含 200 个样本（数据行或序列），你选择了 5 作为批次大小，设置了 1,000 个周期。这意味着数据集将被划分为 40 个批次，每个批次包含五个样本。每处理一个批次的五个样本后，模型的权重就会更新一次。这也意味着，一个周期将包括 40 个批次，即模型将被更新 40 次。
在 1,000 个周期中，模型将会被整个数据集'见'1,000 次。这在整个训练过程中，总共会有 40,000 个批次。
记住，更大的批次大小会占用更多的 GPU 内存。为了应对这一点，我们将采用梯度累积步骤！
正如之前在讨论批次和周期时提到的，机器学习中，我们常用一种名为随机梯度下降（SGD）的优化方法来训练模型。学习率在 SGD 中扮演着关键角色，它决定了每次更新权重时，模型应对估计误差的反应程度。
可以将学习率视为控制模型改进步伐大小的调节器。如果学习率设置得太小，模型可能需要很长时间来学习，或者可能陷入不是最佳的解决方案。相反，如果学习率设置得太大，模型可能学得太快，导致结果不稳定或不够精确。
正确选择学习率对训练成功至关重要。它就像寻找一个'刚刚好'的区域——既不太小也不太大。你需要通过实验来探索不同学习率对模型性能的影响，从而对学习率如何影响模型训练过程中的行为建立直观感知。
因此，在微调训练过程时，要特别注意学习率，因为它在决定模型学习效率和表现方面起着至关重要的作用。
随机梯度下降通过使用训练数据集中的样本估计模型当前状态的误差梯度，然后利用误差反向传播算法（简称'反向传播'）更新模型权重。在训练期间调整权重的幅度称为步长或'学习率'。
具体而言，学习率是一个训练过程中可调节的超参数，它是一个很小的正数，通常在 0.0 到 1.0 之间。（注意：是介于这两个值之间，而不是这两个值本身。）
学习率控制着模型适应问题的速度。较小的学习率意味着每次更新时对权重的调整较小，因此需要更多的训练周期。较大的学习率会导致权重快速变化，从而减少所需的训练周期。
高学习率 = 更少的周期。
低学习率 = 更多的周期。
'学习率可能是最重要的超参数。如果你只有时间调整一个超参数，那就调整学习率。' —《深度学习》
让我们学习如何配置学习率。
计算学习率的一个通用公式是：
base_lr * sqrt(supervised_tokens_in_batch（批次中受监督的 Token 总数） / pretrained_bsz（预训练的批次大小）)
其中，base_lr 是预训练模型的学习率。对于 Mistral 来说，这个值是 5e-5。批次中受监督的 Token 总数指的是，一旦你开始训练，系统会报告的在批次中的受监督 Token 的总数，这个数字除以总步数（系统同样会报告）再除以总周期数；即，总受监督 Token 数 / (总步数 / 总周期数)。预训练的批次大小指的是基础模型的原始批次大小。对于 Mistral 和 Llama 来说，这是 4,000,000（四百万）。例如，假设我们在使用一个包含两百万受监督 Token 的数据集来训练 Mistral，并且我们在单个 GPU 上以批次大小 1 进行训练。假设这需要 350 步。最终的公式看起来是这样的：
5e-5 * sqrt(2000000/(350/1) / 4000000) = 0.00000189 (1.89e-6)
作为参考，Llama-2 模型的基础学习率是 3e-4。
在训练大语言模型的过程中，使用较大的批次大小可以提高训练效率，但也容易导致显存不足的问题。为了解决这个问题，我们可以采用'梯度累积'的技巧。
梯度累积是指将原本用于训练模型的一个大批次样本数据，拆分成若干个更小的'小批次'，然后依次使用这些小批次进行模型训练。
在一个模型中，我们有许多层共同作用来处理我们的数据。可以将这些层想象成相互连接的构建模块。当我们将数据输入模型时，它会逐步通过这些层。随着数据在层间的传递，模型会根据数据做出预测。
在数据经过所有层并且模型做出预测之后，我们需要衡量模型预测的准确性。我们通过计算一个称为'损失'（Loss）的值来实现这一点。损失值告诉我们模型的预测与正确答案之间的偏差程度。
接下来是关键部分。我们希望模型能够从错误中学习并提升其预测的准确性。为此，我们需要了解当我们对模型的内部参数（如权重和偏差）进行微小调整时，损失值会如何变化。
这时就需要用到梯度（Gradients）的概念了。梯度帮助我们了解，随着每个模型参数的调整，损失值会如何变化。可以将梯度想象成箭头，它们指示出当我们微调参数时损失变化的方向和幅度。
得到梯度后，我们可以利用它们来更新模型的参数。我们会选用一个优化器（Optimizer），它类似于一个专门负责指导参数更新的算法。优化器会考虑梯度以及学习率（Learning Rate，决定了更新的幅度）和动量（Momentum，有助于学习和稳定性的速度）等因素。
为了简化理解，我们可以考虑一个常用的优化算法：随机梯度下降（Stochastic Gradient Descent，SGD）。它可以用一个公式来表示：V = V - (lr * grad)。在这个公式中，V 代表我们想要更新的模型参数（比如权重或偏差），lr 是学习率，grad 是我们之前计算出的梯度。这个公式告诉我们如何根据梯度和学习率来调整参数。
总结来说，反向传播是一个计算模型错误程度的过程，我们通过梯度来了解如何调整模型参数的方向，然后应用优化算法（如随机梯度下降）来进行调整，帮助模型学习和提升预测的准确性。
梯度累积是一种我们在不更新模型变量的情况下执行多次计算的技术。我们会跟踪这些步骤中计算得到的梯度，并在之后用它们来更新变量。这个方法实际上相当简单！
为了更好地理解梯度累积，可以想象我们将一个样本批次分割成多个较小的组，称为小批次（mini-batches）。在每一步中，我们处理一个小批次，但不更新模型的变量。这意味着模型在处理所有小批次时使用相同的变量集。
通过在这些步骤中不更新变量，我们确保了为每个小批次计算得到的梯度和更新与使用完整大批次时的结果一致。换句话说，我们确保了从小批次中累积得到的梯度之和与从完整大批次中得到的梯度相同。
简而言之，梯度累积允许我们将大批次分割成多个小批次，对每个小批次进行计算而不更新变量，然后累积这些小批次的梯度。这样的累积确保我们得到的总体梯度与使用完整大批次时无异。
假设我们在 5 步中累积梯度。在前 4 步中，我们不更新任何变量，只是存储梯度。然后在第 5 步中，我们将前 4 步累积的梯度与当前步骤的梯度结合起来，计算并应用变量的更新。
在第一步中，我们处理一个小批次的样本，并进行前向传播和反向传播，计算每个可训练模型参数的梯度。但我们并不立即更新变量，而是将这些梯度存储起来。为此，我们会为每个可训练的模型参数创建额外的变量，用来保存累积的梯度。
计算出第一步的梯度后，我们将其存储在相应的累积梯度变量中。这样，第一步的梯度就可以供后续步骤使用。
我们重复这个过程，在接下来的三个步骤中继续累积梯度，但不更新变量。到了第五步，我们有了前四步累积的梯度和当前步骤的梯度。结合这些梯度，我们可以计算出变量的更新，并进行相应的应用。
现在开始第二步，第二步中的所有样本再次通过模型的所有层进行传播，计算出第二步的梯度。与前一步相同，我们此时还不需要更新变量，所以不用计算变量的更新。不过，与第一步不同的是，我们不仅要将第二步的梯度存储在变量中，还要把它们加到第一步梯度的当前值上。
第三步和第四步与第二步类似，我们仍然不更新变量，而是继续累积梯度，将新的梯度值加到之前累积的变量中。
到了第五步，我们打算更新变量，因为我们计划在 5 步中累积梯度。计算出第五步的梯度后，我们将其加入到之前累积的梯度中，得到这 5 步所有梯度的总和。然后，我们将这个总和作为参数输入到优化器中，得到的更新就是基于这 5 步所有梯度计算出的，涵盖了全局批次中所有样本的更新。
如果我们以随机梯度下降（SGD）为例，让我们看看在第五步结束时，根据这 5 步的梯度计算出的变量更新情况（以下示例中 N=5）：
正如我们之前详细讨论的，使用梯度累积步数可以帮助我们达到或超过期望的批量尺寸。
例如，如果您希望的批量尺寸是 32 个样本，但您的 VRAM 内存有限，只能处理 8 个样本的批量尺寸，您可以将梯度累积步数设置为 4。这意味着您将在执行更新之前累积 4 步的梯度，从而有效地模拟了 32 个样本的批量尺寸（8 * 4）。
总的来说，建议根据可用资源合理设置梯度累积步数，以提高计算效率。太少的累积步数可能导致梯度信息不足，而太多的累积步数会增加内存需求并拖慢训练速度。
学习曲线（Learning Curves）是逐步学习算法中一个非常实用的工具，它帮助我们理解模型是如何从训练数据集中逐步学习的。我们会用一个验证集来评估模型，并通过损失函数的图表来展示模型当前的输出与我们期望的输出之间的差距。接下来，我们将详细探讨学习曲线的具体内容，以及如何利用它们来诊断我们模型的学习和泛化能力。
学习曲线（Learning Curves）就像一个图表，展示了时间或经验（x 轴）与学习进步或改善（y 轴）之间的关系。举个例子，就像你学习日语，每周都对自己的语言能力打分，一年后，通过这些分数的变化，你可以清晰地看到自己掌握日语的过程。
学习（y 轴）随经验（x 轴）的折线图。
为了让评分更直观，我们可以设定一个标准：分数越低，表示学习效果越好。比如，一开始你可能在词汇和语法上遇到困难，分数较高；但随着学习的深入，分数逐渐降低，说明你对日语的掌握越来越牢固。如果你的分数达到了 0.0，那就表示你已经完全掌握了日语。
在模型训练过程中，我们可以通过评估每一步的表现来监控模型的学习情况。这个评估可以在训练数据集上进行，以了解模型的学习效果。同时，我们还可以在未用于训练的验证数据集上进行评估，以检验模型对新数据的泛化能力。
常见的学习曲线有两种：
通常，同时关注训练和验证数据集的学习曲线会更有帮助。
有时候，我们可能需要跟踪多个评估指标。例如，在分类问题中，我们可能会根据交叉熵损失（Cross-Entropy Loss）来优化模型，并用分类准确度（Classification Accuracy）来评估模型的性能。这种情况下，我们会绘制两个图表，每个图表展示两个学习曲线：一个是训练数据集的，另一个是验证数据集的。
我们把这些学习曲线分为两类：
通过分析这些学习曲线，我们可以深入了解模型的学习进度和它有效学习和泛化的能力。
现在我们对学习曲线有了基本的了解，接下来让我们来看看在学习曲线图表中常见的一些形态。
通过观察学习曲线的形状和变化，我们可以对模型的学习行为进行分析，进而可能提出一些配置调整的建议，以提升模型的学习效果或性能表现。
在分析学习曲线时，通常会发现三种典型的情况：
接下来，我们将详细探讨每一种情况。这里假设我们关注的是一个最小化指标，即 y 轴上较小的数值代表更好的学习效果。
当模型无法有效学习训练数据集时，我们称之为欠拟合。这种情况可以通过观察训练损失曲线来识别：曲线可能呈现一条平坦线或者波动较大的高损失值，这表明模型根本没有学会训练数据集的内容。如下图所示，这种情况常见于模型的容量不足以应对数据集的复杂性：
欠拟合曲线的特点包括：
过拟合是指模型对训练数据集学习得过于透彻，以至于记住了数据的细节，而不是进行泛化。这包括了训练数据集中的统计噪声或随机波动。过拟合的问题在于，模型越是专门化于训练数据，对新数据的泛化能力就越差，导致泛化误差的增加。这种泛化误差的增加可以通过模型在验证数据集上的表现来衡量。通常，如果模型的复杂度过高或训练时间过长，就可能出现过拟合。学习曲线图显示过拟合的情况如下：
下图展示了一个过拟合模型的学习曲线：
这是我们训练模型时的目标状态——位于过拟合和欠拟合之间的理想曲线。
一个好的拟合状态通常表现为训练损失和验证损失都降低到一个稳定的水平，并且两者之间的差距很小。
模型在训练数据集上的损失总是会低于在验证数据集上的损失。这意味着我们应该预期训练损失和验证损失之间会存在一定的差距，这个差距被称为'泛化差距'。
下图展示了一个拟合良好的模型的学习曲线：
本文是一份全面的新手指南，旨在指导初学者如何有效地培训大型语言模型（LLM）。文章首先介绍了 Transformer 架构的基础知识，这是现代 LLMs 的核心。接着，它深入探讨了预训练和微调的概念，强调了这些步骤在模型开发中的重要性。文章还详细讨论了低阶适应（LoRA）技术，这是一种新兴的高效训练方法，可以显著降低大型模型训练的计算和内存成本。此外，指南涵盖了关键的超参数调整，如批量大小、学习率和梯度累积，这些对于优化模型性能至关重要。文章还强调了数据集的准备和处理在训练过程中的作用，以及如何通过学习曲线来诊断和改进模型。最后，指南提供了实用的训练运行启动步骤，确保新手能够顺利开始他们的 LLM 培训之旅。整体而言，这份指南为新手提供了一个坚实的起点，帮助他们理解和掌握 LLM 培训的关键技术和策略。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online