机器学习常见名词汇总

PyTorch

PyTorch 是 Facebook 的人工智能研究团队开发，并在 2016 年开源的深度学习框架，它是 Torch 的 Python 版本。PyTorch 继承了 Torch 的设计理念和一些基本功能，但在实现上有所不同。PyTorch 使用 Python 作为主要开发语言，并提供了更友好和灵活的 API 接口。PyTorch 的一个显著特点是其动态计算图，允许在运行时根据需要定义、更改和调整计算图，这使得 PyTorch 在处理复杂的模型和任务时非常灵活和方便。与 Torch 相比，PyTorch 提供了更丰富的文档和社区支持，以及与其他流行框架的接口，如 TensorFlow 和 Keras。PyTorch 还支持多种计算设备，包括 CPU、GPU 和 TPU，用户可以轻松地将模型迁移到不同的硬件上运行，以获得更高的计算效率。

FT(Fine-Tuning)

• 通常指的是在预训练模型的基础上进行微调。这个过程涉及使用特定任务的数据来调整模型的权重，以便模型能够更好地执行该任务。
• FT 可以用于各种任务，包括分类、回归、命名实体识别等。
• FT 通常在模型的最后几层进行，而保留预训练的底层权重不变，因为底层权重已经在大量数据上学习到了通用特征。

SFT（Supervised Fine-Tuning）

监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。

1. 预训练阶段：首先在一个大型的源数据集上训练一个神经网络模型，这个模型我们称之为'源模型'。
2. 模型复制：接着创建一个新的模型，即'目标模型'。这个目标模型复制了源模型除了输出层之外的所有层和参数。
3. 输出层替换：因为源模型的输出层是针对源数据集的特定任务设计的，所以目标模型不使用源模型的输出层，而是添加一个新的输出层，这个新层的参数是随机初始化的。
4. 微调训练：最后，目标模型在目标数据集上进行训练。在这个过程中，除了新添加的输出层是从头开始训练的，其他层的参数都是在源模型参数的基础上进行微调。

监督微调的步骤

具体来说，监督式微调包括以下几个步骤：

预训练 首先在一个大规模的数据集上训练一个深度学习模型，例如使用自监督学习或者无监督学习算法进行预训练；

微调 使用目标任务的训练集对预训练模型进行微调。通常，只有预训练模型中的一部分层被微调，例如只微调模型的最后几层或者某些中间层。在微调过程中，通过反向传播算法对模型进行优化，使得模型在目标任务上表现更好；

评估 使用目标任务的测试集对微调后的模型进行评估，得到模型在目标任务上的性能指标。

超参数

超参数是机器学习模型训练前需要设置的参数，它们通常控制着学习过程的某些方面，而不是模型本身的结构或行为。与模型参数不同，模型参数是通过训练数据学习得到的，而超参数则需要人为设定或通过交叉验证等技术进行调整。

• 学习率（Learning Rate）：控制模型权重更新的幅度。如果学习率太高，可能导致训练过程中的震荡或发散（跳过最低损失函数值）；如果太低，则可能导致训练过程缓慢或陷入局部最优。
• 批量大小（Batch Size）：指定每次迭代中用于计算梯度的样本数量。小批量大小有助于提高模型的泛化能力，但可能增加训练时间。
• 迭代次数（Epochs）：表示整个训练数据集通过模型的次数。过多的迭代可能导致过拟合，而太少则可能导致模型欠拟合。
• 优化器（Optimizer）：选择用于模型训练的优化算法，如梯度下降、随机梯度下降、Adam、RMSprop 等。
• 正则化系数（Regularization Coefficient）：控制模型正则化的强度，以防止过拟合，如 L1、L2 正则化。
• 网络结构参数：如神经网络中的层数、每层的神经元数量等。
• 激活函数（Activation Function）：选择模型中使用的非线性激活函数，如 ReLU、Sigmoid、Tanh 等。
• dropout 率：在训练过程中随机丢弃一些网络连接的比例，用于防止过拟合。
• 卷积核大小（Kernel Size）：在卷积神经网络中，卷积核的尺寸会影响特征提取的范围。
• 池化窗口大小（Pooling Size）：池化层中使用的窗口大小，影响特征图的下采样程度。

超参数调优

激活函数（Activation Function）

网络的每一层在输出时，都需要进行一次非线性变换，被称为激活。如果不进行激活，则网络中各层均进行线性变换。

线性变换：

• 线性变换可以看作是对空间进行拉伸、压缩、反射、旋转等操作，而不改变点的相对位置。
• 线性变换保持向量间的角度和比例不变，但不一定保持长度。

激活函数在神经网络中起着重要的作用，主要有以下几点：

1. 完成数据的非线性变换：激活函数引入非线性元素，解决线性模型的表达、分类能力不足的问题。非线性是现实世界中许多现象的基础，因此这非常有用。
2. 增加网络的能力：激活函数的存在，使得神经网络的'多层有了实际的意义，使网络更加强大，增加网络的能力，使它可可以学习复杂的事物，复杂的数据，以及表示输入输出之间非线性的复杂的任意函数映射。
3. 执行数据的归一化：激活函数将输入数据映射到某个范围内，再往下传递，这样做的好处是可以限制数据的扩张，防止数据过大导致的溢出风险。
4. 作为预测概率输出：某些激活函数，如 sigmoid 函数，其输出范围因为 [0,1]，适用于作为预测概率输出。

模型参数

权重

• 来源：权重是模型中的参数，它们在初始化时通常是随机设置的（例如，随机小数或零初始化）。权重的初始值不影响模型的学习能力，因为它们将在训练过程中被调整。
• 作用：权重决定了输入特征对模型输出的影响程度。不同的权重值可以增强或减弱某些输入特征对最终预测结果的贡献。在线性回归中，权重是斜率，表示特征与目标变量之间的线性关系强度。

偏置

• 来源：偏置（也称为偏差项或截距）同样是模型参数，在初始化时通常被设置为零或一个小的随机数。
• 作用：偏置允许模型的输出在没有输入的情况下不从零开始。它为模型提供了沿目标轴平移的能力，使得模型可以更好地拟合数据集中的模式。

在训练过程中，权重和偏置通过优化算法（如梯度下降）不断更新。

损失函数（Loss Function）

损失函数用于衡量模型预测值与真实值之间的差异，指导模型参数的更新方向。

优化器（优化算法）

优化器负责根据损失函数的梯度更新模型参数，常见的优化算法包括 SGD、Adam 等。

优化器选择

选择合适的优化器对于模型的收敛速度和最终性能至关重要。

优化算法

优化算法决定了参数更新的策略，直接影响训练效果。

前向传播（Forward Propagation）

数据从输入层经过隐藏层传递到输出层的过程。

反向传播（Backpropagation）

根据输出误差计算各层参数梯度的过程，用于更新权重。

梯度下降（Gradient Descent）

一种常用的优化算法，通过沿着损失函数梯度的反方向更新参数来最小化损失。

梯度消失（Vanishing Gradient）

在深层网络中，梯度在反向传播时逐渐变小，导致浅层参数无法有效更新。

梯度爆炸（Exploding Gradients）

在深层网络中，梯度在反向传播时变得过大，导致参数更新不稳定。

强化学习 RLHF

基于人类反馈的强化学习，用于对齐模型输出与人类偏好。

二次代价函数（Quadratic Penalty Function）

一种用于约束优化的损失函数形式。

泛化能力

模型在未见过的数据上表现良好的能力。

神经元

神经网络的基本计算单元，接收输入信号并进行加权求和及激活。

过拟合

模型在训练集上表现过好，但在测试集上表现不佳的现象。

模型量化

降低模型精度以减少存储和计算开销的技术。

Bitsandbytes

一种用于模型量化的库。

HQQ

另一种高效的量化方案。

大模型训练整体流程

涵盖数据准备、预训练、微调、评估等完整生命周期。