机器学习回归算法：线性回归与逻辑回归

其中 θ 是模型参数，η 是学习率，∇θJ(θ) 是损失函数 J(θ) 在全部样本上的梯度。

优点是梯度估计准确，收敛稳定，能保证朝全局最优方向前进；但如果训练集数据过于庞大，会导致计算量大，速度也慢——针对这个进行优化就有了随机梯度下降算法（SGD）。

2. SGD

与 BGD 不同的是，SGD 在每次迭代时只随机选择部分训练样本计算梯度并更新参数。

更新公式：

优点是计算速度快，大数据集适用，并且随机性也有助于跳出局部最优解；但会引入噪声，更新方向也不稳定，收敛过程会产生较大震荡，难以精确收敛——针对此问题又优化引进动量法（Momentum）。

3. Momentum

在更新参数时，不仅考虑当前梯度，还积累之前的梯度方向。

更新公式：

它可以提高速度并有效抑制震荡，但仍需要手动调整学习率——针对这个问题优化为自适应学习算法。

4. AdaGrad 和 RMSProp

为每个参数位数一个独立的学习率，对出现频率低的参数使用较大的学习率，频率高的则使用较小的学习率。RMSProp 则是对前者学习率过早衰减的问题进行优化。

5. Adam

动量 + 自适应学习（Momentum+RMSProp）是目前最流行的优化算法之一。

利用动量平滑路径，自适应调整每个参数的学习率。

收敛速度快，对超参数不敏感，在大多数深度学习任务中表现出色，是默认首选优化器。

c. 评估指标

决定系数 (R²)

（最核心指标），取值为 [0,1]，越接近 1 表示拟合效果越好

（适用无明显异常值时）

均方误差（Mean Squared Error, MSE）：

（对大误差更敏感）

均方根误差（Root Mean Squared Error, RMSE）：

（同样适用于无明显异常值时）

平均绝对误差（Mean Absolute Error, MAE）：

（对异常值更鲁棒，不进行平方操作，故当存在异常值时使用更为恰当）

除此之外，还有

平均绝对百分比误差（MAPE）：

（衡量预测值相对真实值的平均百分比误差，适合评估相对偏差的场景）

均方对数误差（MSLE）：

（目标值范围大，用对数变换可以缓解大值对误差的影响）

3. 逻辑回归

逻辑回归是一种用于分类的统计方法，虽然名字里有'回归'，但它本质上是通过线性模型结合 Sigmoid 函数，将预测结果映射到 [0,1] 区间，从而实现对二分类问题的概率预测。其基本公式为：

是预测为正类的概率，z 是线性组合的输出，

() Sigmoid 激活函数，将线性输出压缩到概率区间

a. 损失函数

二元交叉熵损失（Binary Cross-Entropy）：

多分类交叉熵损失（Categorical Cross-Entropy）：

b. 梯度下降算法（GD）

计算通线性回归，这里不做详细说明。

c. 评估指标

逻辑回归作为分类模型，常用以下指标来评估性能：

混淆矩阵

准确率 Accuracy

（在数据不平衡的情况下极具误导性，仅适用于数据集分布相对平衡时）

精确率 Precision

（所有预测为正类中，真正是正的比例，适用于数据不平衡/避免误报时）

召回率 Recall

（所有真实为正类中，预测为正的比例，适用于数据不平衡/避免漏报时）

F1 分数

（精确率和召回率的调和平均数，为二者的平衡指标，使用范围广不管数据平不平衡）

AUC

ROC 曲线下的面积，取值范围为 [0,1]。roc 横轴为假阳性率：FP/(FP+TN),纵轴为真阳性率/召回率：TP/(TP+FN)。auc 代表模型区分正负样本的能力，越接近 1 分类能力越强，对数据不平衡不敏感，是评估分类模型的重要指标之一。