机器学习核心概念与术语详解

• FT：通常保留底层通用特征权重，仅调整顶层以适应新任务（如分类、NER）。
• SFT（Supervised Fine-Tuning）：监督微调。步骤包括：
  1. 预训练：在大规模源数据集上训练源模型。
  2. 模型复制：创建目标模型，复制源模型除输出层外的所有参数。
  3. 替换输出层：新增适配目标类别的输出层并随机初始化。
  4. 微调训练：在目标任务数据上训练，优化器更新部分或全部参数。

超参数与调优

超参数是训练前人为设定的配置，控制学习过程而非模型本身。

• 学习率：决定权重更新幅度。过高易震荡，过低收敛慢。
• 批量大小：影响梯度估计稳定性与泛化能力。
• 迭代次数：过多导致过拟合，过少则欠拟合。
• 正则化系数：如 L1/L2，防止过拟合。
• 其他：网络层数、神经元数量、激活函数选择、Dropout 率、卷积核大小等。

激活函数

每一层的输出需经过非线性变换。若无激活函数，多层网络等价于单层线性模型。

• 非线性映射：解决线性模型表达力不足的问题。
• 增强表达能力：使网络能拟合任意复杂函数。
• 归一化作用：限制数值范围，防止溢出。
• 概率输出：如 Sigmoid 适用于二分类概率预测。

模型参数

• 权重：初始化后随机设置，训练中被优化，决定特征对输出的贡献度。
• 偏置：提供平移能力，使模型更好地拟合数据分布。

在训练过程中，权重和偏置通过优化算法（如梯度下降）不断更新迭代，直至损失最小化。

优化算法

常见的优化器包括梯度下降、随机梯度下降（SGD）、Adam、RMSprop 等。选择合适的优化器对收敛速度和最终效果至关重要。

核心流程与现象

前向传播与反向传播

• 前向传播：数据从输入层流向输出层，计算预测值。
• 反向传播：根据损失函数计算误差，并将梯度传回各层，用于更新参数。

梯度下降

优化参数的基本方法。需注意两个常见问题：

• 梯度消失：深层网络中梯度随层数增加趋近于零，导致底层无法学习。
• 梯度爆炸：梯度值过大，导致参数更新不稳定。

其他关键概念

• 强化学习 RLHF：结合人类反馈的强化学习，常用于对齐大模型行为。
• 二次代价函数：衡量预测值与真实值差异的常用损失函数。
• 泛化能力：模型在未见数据上的表现，是评估模型实用性的核心指标。
• 过拟合：模型在训练集表现好但在测试集差，通常因模型过于复杂或数据不足。
• 神经元：神经网络的基本计算单元，模拟生物神经元功能。

机器学习分类

• 监督学习：使用带标签数据训练，如分类、回归。
• 无监督学习：处理无标签数据，如聚类、降维。
• 区别：主要在于是否有明确的监督信号（标签）指导学习过程。

模型量化

降低模型精度以减少存储和计算开销的技术。

• Bitsandbytes：常用的低比特量化库。
• HQQ：高精度量化方案之一。

理解这些基础概念，有助于在实际项目中选择合适的模型架构、优化策略及硬件资源。