机器学习与深度学习常见名词汇总

参数与超参数

模型参数

指模型内部通过学习得到的变量。

• 权重 (Weights)：决定输入特征对输出的影响程度。初始化通常随机设置，训练中被优化。
• 偏置 (Bias)：允许模型输出平移，增强拟合能力。

超参数 (Hyperparameters)

训练前人为设定的参数，控制学习过程而非模型本身。

• 学习率 (Learning Rate)：控制权重更新幅度。过高易震荡，过低收敛慢。
• 批量大小 (Batch Size)：每次迭代使用的样本数。影响泛化能力和训练速度。
• 迭代次数 (Epochs)：整个数据集通过模型的次数。过多易过拟合，过少欠拟合。
• 正则化系数：防止过拟合，如 L1、L2 正则化。
• Dropout 率：训练中随机丢弃连接的比例。
• 网络结构：层数、神经元数量、卷积核大小、池化窗口等。

激活函数 (Activation Function)

负责非线性变换。若无激活函数，多层网络退化为单层线性模型。

• 作用：解决线性表达不足，增加网络表达能力，限制数据范围防止溢出，部分函数（如 Sigmoid）可直接作为概率输出。

优化器 (Optimizer)

选择用于模型训练的算法，如 SGD、Adam、RMSprop 等。选择合适的优化器对收敛速度和效果至关重要。

微调与大模型技术

FT (Fine-Tuning)

在预训练模型基础上进行微调。使用特定任务数据调整权重，使模型更好地执行该任务。通常保留底层通用特征权重，仅调整最后几层。

SFT (Supervised Fine-Tuning)

监督微调的具体流程：

1. 预训练：在大规模源数据集上训练'源模型'。
2. 模型复制：创建'目标模型'，复制源模型除输出层外的所有参数。
3. 输出层替换：移除源模型输出层，添加针对目标任务的新输出层并随机初始化。
4. 微调训练：在目标数据集上训练，从头训练输出层，其余层基于源模型参数微调。

模型量化 (Model Quantization)

降低模型精度以减少存储和计算开销的技术。

• Bitsandbytes：常用于大模型量化的库。
• HQQ：另一种高效的量化方案。

强化学习 RLHF

人类反馈强化学习，常用于对齐大模型行为，使其更符合人类价值观。

过拟合 (Overfitting)

模型在训练集表现好，但在测试集表现差，即记住了噪声而非规律。需通过正则化、Dropout 等手段缓解。

泛化能力

模型对未见过的数据做出准确预测的能力，是衡量模型好坏的关键指标。

硬件与框架

NPU (Neural Processing Unit)

神经处理单元，专为 AI 任务设计的硬件。相比 CPU/GPU，NPU 在处理小规模并行计算时效率更高，适合多媒体及神经网络数据处理。

CUDA

NVIDIA 开发的并行计算平台，允许利用 GPU 进行通用计算。提供丰富 API，加速计算密集型应用。

Torch & PyTorch

• Torch：早期科学计算框架，使用 Lua，以动态图和自动求导闻名。
• PyTorch：Facebook 开源的 Python 版本。继承 Torch 理念但更灵活，支持动态计算图，社区活跃，支持 CPU/GPU/TPU，是目前主流的大模型开发框架之一。

注：以上内容基于工程实践总结，具体实现细节可能随技术发展有所变化。