机器学习：逻辑回归算法原理与实现

1、概述

逻辑回归是一种用于解决二分类问题的统计方法，尽管名称中包含'回归'，但实际上是一种分类算法。它通过将线性回归的输出映射到 Sigmoid 函数，将预测值转换为概率值（0 到 1 之间），从而进行分类决策。

逻辑回归的核心目标是： 预测一个样本属于某个类别的概率。

2、数学原理和推导

1）假设函数（Sigmoid 函数）

逻辑回归通过将线性回归的结果输入一个 S 型函数，将结果映射到 0 到 1 的区间：

其中： hθ(x) 是预测结果（属于类别 1 的概率） θ 是参数向量（权重） x 是输入特征向量

当 hθ(x) ≥ 0.5，预测为类别 1； 当 hθ(x) < 0.5，预测为类别 0。

2）求解

3、梯度下降法

1）偏导数

我们知道一个多变量函数的偏导数，就是它关于一个变量的导数而保持其他变量恒定，该函数的整个求导。

2）梯度

梯度可以定义为一个函数的全部偏导数构成的向量，梯度向量的方向即为函数值增长最快的方向。

3）梯度下降法

是一个一阶最优化算法，通常也称为最陡下降法，要使用梯度下降法找到一个函数的局部极小值。 步长 (学习率): 梯度可以确定移动的方向。学习率将决定我们采取步长的大小。不易过小和过大。

4、评价方式

混淆矩阵：

真阴性（TN）：非 0 数字被正确预测的数量； 真阳性（TP）：0 被正确预测的数量； 假阴性（FN）：0 被误判为非 0 的数量； 假阳性（FP）：非 0 被误判为 0 的数量。