吴恩达《机器学习2022》C1-W2 ： 逻辑回归
定义
逻辑回归是一种用于分类任务的机器学习算法（虽然名字带 “回归”，但实际是分类模型），核心是用 “概率” 的方式判断样本属于某一类别的可能性。
核心特点：
- 任务类型：解决二分类问题（比如 “肿瘤是否恶性”“邮件是否垃圾邮件”），也可以扩展到多分类。
- 输出形式：输出 0~1 之间的概率值（比如输出 0.8 代表 “样本属于正类的概率是 80%”）。
- 模型原理：
- 先通过线性组合（z=w⋅x+b）处理特征；
- 再用Sigmoid 函数把线性结果映射到 0~1。
- 损失函数：用对数似然损失（就是你图里分情况的形式），保证优化时能找到全局最优。
简单说：逻辑回归是 “用线性模型 + Sigmoid 函数，输出分类概率” 的经典分类算法～
例
这个图展示的是逻辑回归（Logistic Regression）用于肿瘤良恶性判断的数据集与模型框架，核心是“分类任务”（判断肿瘤是恶性/1 还是良性/0）。
1. 数据集部分
表格是训练样本的结构：
- 行（(i=1,...,m)）：代表不同的患者（共(m)个训练样本）。
- 列（(j=1,...,n)）：代表特征（输入变量），比如“肿瘤大小（(x_1)）”“患者年龄（(x_n)）”等。
- 最后一列（(y)）：是目标变量（标签），取值为0或1（1代表“恶性肿瘤”，0代表“良性肿瘤”）。
2. 模型部分
右侧的公式是逻辑回归的预测函数：
- 它的作用是：把“特征(\vec{x})（如肿瘤大小、年龄）”输入后，输出一个0到1之间的概率值（代表“肿瘤是恶性的概率”）。
- w“特征的权重”，(b)是“偏置项”，需要通过训练数据学习得到。
逻辑回归的预测函数长成这样（Sigmoid函数），核心是为了适配分类任务的需求：
1. 分类任务需要“概率输出”
我们要预测的是“肿瘤恶性的概率”，这个值必须在 0~1之间（概率的取值范围）。
如果直接用线性模型
，它的输出可以是任意实数（比如-100、1000），显然不符合“概率”的要求。
2. Sigmoid函数的作用：把实数映射到0~1
Sigmoid函数
的特点是：
- 当(z)很大（正无穷）时，(e^{-z})趋近于0，函数值趋近于1；
- 当(z)很小（负无穷）时，(e^{-z})趋近于正无穷，函数值趋近于0；
- 当(z=0)时，函数值正好是0.5。
这样就能把线性计算的结果，“压缩”成0~1之间的概率值，刚好对应“事件发生的可能性”。
3. 逻辑回归的本质：用线性模型拟合“对数几率”
从概率角度，逻辑回归实际是在拟合“对数几率”（log odds）：
把这个式子变形后，正好能推导出Sigmoid形式的预测函数。
所以这个预测函数是“让线性模型适配分类任务（输出概率）”的必然选择~
要不要我帮你推导一下这个函数的变形过程？
成本函数
对于整个数据集
对于单个样本
- 当真实标签是 “恶性（1）”，模型预测的概率f越接近 1，−log(f)就越小（损失小）；
- 当真实标签是 “良性（0）”，模型预测的概率f越接近 0，−log(1−f)就越小（损失小）。
当真实结果为1时
越接近1成本函数越小
当真实结果为0时
越接近0成本函数越小
简化后的成本函数
