机器学习：逻辑回归算法原理与实现

1）准确率

适用于类别平衡的数据集，但对不平衡数据可能产生误导。

2）精确率

适用于需要高置信度正类预测的场景（如垃圾邮件分类）。

3）召回率

适用于漏报成本高的场景（如疾病检测）。

4）F1 值

适用于需要平衡精确率和召回率的场景。

5、欠拟合和过拟合

1）欠拟合

概念：就是模型没有训练好，一般训练的数据较少，会出现这种情况。

2）过拟合

概念：模型在训练集表现良好，但在测试集上的表现就不行。

原因： 1、训练集上为追求好的效果（包括损失小、准确率高等） 2、模型参数过于复杂

6、正则化惩罚

目的：防止过拟合。

概念：Minimize your error while regularizing your parameters.规则化参数的同时最小化误差。【被翻译为正则化】。

L1 正则（Lasso）：鼓励稀疏解。 L2 正则（Ridge）：平滑模型参数。

# 带正则化项的逻辑回归
LogisticRegression(penalty='l2', C=1.0, max_iter=100)

参数 Penalty：正则化方式，有 l1 和 l2 两种。用于指定惩罚项中使用的规范。

参数 C：正则化强度。为浮点型数据。正则化系数λ的倒数，float 类型，默认为 1.0。必须是正浮点型数。像 SVM 一样，越小的数值表示越强的正则化。

参数 max_iter：算法收敛最大迭代次数，int 类型，默认为 100。仅在正则化优化算法为 newtoncg, sag 和 lbfgs 才有用，算法收敛的最大迭代次数。

1）损失函数

逻辑回归使用最大似然估计来求解。 其对应的损失函数为：

m：表示样本数量 y^(i)：表示第 i 个样本的标签

2）正则化惩罚

就是在损失函数的基础上加了

7、交叉验证

在将数据进行标准化以及改变阈值后，得到的召回率不是很高时，我们就可以使用交叉验证，来得到一个最好的C的值。

就是将要训练的数据按比例分割成 n 份，第一次训练 1 到 n-1 份，第二次训练 1 到 n-2 份加上第 n 份，一直按规律训练，一直到最后一次训练 2 到 n 份。

使用 cross_val_score 可以进行这个操作。 例如：

score = cross_val_score(lr, x_train, y_train, cv=10, scoring='recall')

代表正则化惩罚的基础上，训练将 x_train, y_train 分割成 10 份，求训练后召回率的平均值。