机器学习：逻辑回归算法原理与实战

机器学习项目流程：

1. 准备数据。
2. 数据的预处理。
3. 特征工程 (特征提取、特征预处理、特征降维、特征选取、特征组合)。
4. 模型训练。
5. 模型预测。
6. 模型评估。

入门案例

"""
案例：癌症预测案例，目的：演示逻辑回归相关 API。
逻辑回归：概述：它属于分类算法的一种，一般用于二分法。
原理：
1. 基于线性回归，结合特征值，计算出标签值。
2. 把上述算出来的标签值传给激活函数 (Sigmoid)，映射成 [0, 1] 区间的值。
3. 结合手动设置的阈值，来划分区间即可。
损失函数：先基于极大似然函数计算，然后转成对数似然函数，结合梯度下降，计算最小值即可。
"""
# 导包
import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 1. 准备数据
data = pd.read_csv('./data/breast-cancer-wisconsin.csv')
data.info() # 699 行 * 11 列，看不到空值，因为有？标记。

# 2. 数据的预处理
# 2.1 用 np.NaN 来替换？
data = data.replace('?', np.nan)
data.info()
# 2.2 因为有缺失值，但是缺失值不多，我们删除即可。按行删除。
data.dropna(axis=0, inplace=True)
data.info()

# 3. 特征工程
# 3.1 获取特征值和目标值 (标签值)
x = data.iloc[:, 1:-1] # 从索引为 1 的列开始获取，直至最后一列 (不包括)
y = data.Class

# 3.2 查看结果
print(len(x), len(y))
print(x.head(10))
print(y.head(10))

# 3.3 拆分训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=22)

# 3.4 数据集相差不大，可以不做标准化处理，但是为了让步骤更完整，我们还是做一下。
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4. 模型训练
# 4.1 创建模型，逻辑回归模型
estimator = LogisticRegression()
# 4.2 训练模型
estimator.fit(x_train, y_train)

# 5. 模型预测
y_predict = estimator.predict(x_test)
print(f'预测值：{y_predict}')

# 6. 模型评估
print(f'准确率：{estimator.score(x_test, y_test)}')
print(f'准确率：{accuracy_score(y_test, y_predict)}')

混淆矩阵 - 精确率 - 召回率

"""
案例：演示混淆矩阵和精确率、召回率、F1 值。
混淆矩阵：概述：用来描述真实值和预测值之间关系的。
图解：
预测标签 (正例) | 预测标签 (反例)
真实标签 (正例) | 真正例 (TP) | 伪反例 (FN)
真实标签 (反例) | 伪正例 (FP) | 真反例 (TN)
单词：True: 真，False: 假 (伪)，Positive: 正例，Negative: 反例
结论：
1. 模拟使用分类少的充当正例。
2. 精确率 = 真正例 在 预测正例中的占比，即：tp / (tp + fp)
3. 召回率 = 真正例 在 真实正例中的占比，即：tp / (tp + fn)
4. F1 值 = 2 * (精确率 * 召回率) / (精确率 + 召回率)
"""
import pandas as pd
from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score

# 需求：已知有 10 个样本，6 个恶性肿瘤 (正例)，4 个良性肿瘤 (反例)。
# 模型 A 预测结果为：预测对了 3 个恶性肿瘤，预测对了 4 个良性肿瘤
# 模型 B 预测结果为：预测对了 6 个恶性肿瘤，预测对了 1 个良性肿瘤

# 1. 定义变量，记录：样本数据
y_train = ['恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '良性', '良性', '良性', '良性']

# 2. 定义变量，记录：模型 A 的预测结果
y_pred_A = ['恶性', '恶性', '恶性', '良性', '良性', '良性', '良性', '良性', '良性', '良性']

# 3. 定义变量，记录：模型 B 的预测结果
y_pred_B = ['恶性', '恶性', '恶性', '恶性', '恶性', '恶性', '良性', '恶性', '恶性', '恶性']

# 4. 用标签标记正例，反例
label = ['恶性', '良性']
df_label = ['恶性 (正例)', '良性 (反例)']

# 5. 针对于真实值 (y_train) 和模型 A 的预测结果 (y_pred_A)，搭建混淆矩阵
cm_A = confusion_matrix(y_train, y_pred_A, labels=label)
print(f'混淆矩阵 A:\n {cm_A}')

# 6. 为了测试结果更好看，把上述的混淆矩阵转换成 DataFrame
df_A = pd.DataFrame(cm_A, index=df_label, columns=df_label)
print(f'混淆矩阵 A 的 DataFrame 对象形式：\n {df_A}')

# 7. 针对于真实值 (y_train) 和模型 B 的预测结果 (y_pred_B)，搭建混淆矩阵
cm_B = confusion_matrix(y_train, y_pred_B, labels=label)
print(f'混淆矩阵 B:\n {cm_B}')

# 8. 为了测试结果更好看，把上述的混淆矩阵转换成 DataFrame
df_B = pd.DataFrame(cm_B, index=df_label, columns=df_label)
print(f'混淆矩阵 B 的 DataFrame 对象形式：\n {df_B}')

# 9. 计算 A 模型的精确率、召回率、F1 值
print(f'模型 A 精确率：{precision_score(y_train, y_pred_A, pos_label="恶性")}')
print(f'模型 A 召回率：{recall_score(y_train, y_pred_A, pos_label="恶性")}')
print(f'模型 A F1 值：{f1_score(y_train, y_pred_A, pos_label="恶性")}')

# 10. 计算 B 模型的精确率、召回率、F1 值
print(f'模型 B 精确率：{precision_score(y_train, y_pred_B, pos_label="恶性")}')
print(f'模型 B 召回率：{recall_score(y_train, y_pred_B, pos_label="恶性")}')
print(f'模型 B F1 值：{f1_score(y_train, y_pred_B, pos_label="恶性")}')

ROC 曲线的绘制

FPR 伪正率：伪正例 FP 在全部假例的占比 TPR 真正率：真正例 TP 在全部正例的占比

客户流失案例分析

"""
案例：电信客户流失分析。
目的：
1. 演示逻辑回归的相关操作，主要是：二分法 (流失，不流失)
2. 演示逻辑回归的评估操作，主要是：混淆矩阵、准确率、召回率、F1 值、ROC 曲线、AUC 值、分类评估报告
"""
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, classification_report
from sklearn.model_selection import train_test_split

def dm01_数据预处理():
    # 1. 读取数据
    data = pd.read_csv('./data/churn.csv')
    data.info()
    # 2. 因为上述的 Churn, gender 是字符串类型，我们对其做热编码 (one-hot) 处理
    data = pd.get_dummies(data)
    data.info()
    print(data.head(10))
    # 3. 删除列，因为热编码之后，会多出一个列，我们删除掉
    data.drop(['gender_Male', 'Churn_No'], axis=1, inplace=True)
    print(data.head(10))
    # 4. 修改列名
    data.rename(columns={'Churn_Yes': 'flag'}, inplace=True)
    print(data.head(10))
    # 5. 查看下数据集中，标签是否是均衡的
    print(data.flag.value_counts()) # False -> 不流失，True -> 流失

def dm02_会员流失可视化情况():
    data = pd.read_csv('./data/churn.csv')
    data = pd.get_dummies(data)
    data.drop(['gender_Male', 'Churn_No'], axis=1, inplace=True)
    data.rename(columns={'Churn_Yes': 'flag'}, inplace=True)
    print(data.flag.value_counts())
    print(data.columns)
    # 通过计数柱状图，绘制 (月度) 会员的流失情况
    sns.countplot(data, x='Contract_Month', hue='flag')
    plt.show()

def dm03_逻辑回归模型训练评估():
    data = pd.read_csv('./data/churn.csv')
    data = pd.get_dummies(data)
    data.drop(['gender_Male', 'Churn_No'], axis=1, inplace=True)
    data.rename(columns={'Churn_Yes': 'flag'}, inplace=True)
    
    # 特征列和标签列
    x = data[['Contract_Month', 'PaymentElectronic', 'internet_other']]
    y = data['flag']
    
    # 拆分训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=22)
    
    # 创建逻辑回归模型，并训练
    estimator = LogisticRegression()
    estimator.fit(x_train, y_train)
    
    # 模型预测
    y_predict = estimator.predict(x_test)
    print(f'预测值为：{y_predict}')
    
    # 模型评估
    print(f'准确率：{estimator.score(x_test, y_test)}')
    print(f'精确率：{precision_score(y_test, y_predict)}')
    print(f'召回率：{recall_score(y_test, y_predict)}')
    print(f'F1 值：{f1_score(y_test, y_predict)}')
    print(f'roc 曲线：{roc_auc_score(y_test, y_predict)}')
    print(f'分类评估报告：{classification_report(y_test, y_predict)}')

if __name__ == '__main__':
    dm03_逻辑回归模型训练评估()

一、分类评估报告参数详解

首先，我们来逐一解读报告中每一列和每一行的含义。

1. 行（类别）

报告展示了两行，对应模型的输出类别。在这个客户流失案例中：

• False (0)：代表负类，即不流失的客户。
• True (1)：代表正类，即流失的客户。

2. 列（评估指标）

如果有疑惑可以参考着下图来解析评估指标

二、底层三行汇总指标解读

报告底部还有三行，提供了不同维度的总体评价：

1. accuracy (准确率)

• 数值：0.76
• 含义：所有测试样本中，预测正确的比例。
• 解读：整体来看，模型在 76% 的情况下能正确判断客户是否流失。但要注意，这个指标在样本不平衡时容易被多数类（不流失）带偏。

2. macro avg (宏平均)

• 数值：precision 0.71, recall 0.65, f1-score 0.67
• 含义：分别计算每个类别的指标，然后直接取算术平均，不考虑样本多少。
• 解读：宏平均把'流失'和'不流失'两个类别看得同等重要。0.65 的召回率说明，模型平均来看，找出每个类别（特别是流失客户）的能力较弱。这个指标更能反映模型在**少数类（流失）**上的糟糕表现。

3. weighted avg (加权平均)

• 数值：precision 0.74, recall 0.76, f1-score 0.74
• 含义：分别计算每个类别的指标，然后按该类样本数加权平均。
• 解读：由于'不流失'的样本（1012 个）远多于'流失'的样本（397 个），加权平均的结果更偏向于'不流失'类的指标，因此看起来比宏平均更好看。但在业务中，如果更关注流失客户，这个指标会掩盖真正的问题。

三、结合代码和业务场景的分析

1. 业务背景

这是一个客户流失预测模型。目标是提前发现可能流失的客户 (True)，以便运营商采取措施（如发送优惠券）进行挽留。

2. 模型表现分析

从业务角度看，我们最关心的是召回率 (Recall)，因为漏掉一个真正要流失的客户 (FN)，就意味着直接损失了一个客户。相比之下，把没想流失的客户误判为流失 (FP)，最多只是多发一张优惠券的成本。

• 模型短板：模型的召回率（流失类）只有 0.40。这意味着在所有真实流失的客户中，模型只成功预测出了 40%，而漏掉了剩下的 60%。这个模型在实际业务中帮助不大，因为大部分想走的客户它都没发现。
• 样本不平衡：从 support 列（1012 vs 397）可以清晰看到，测试集中'不流失'的样本远多于'流失'的样本。模型为了整体准确率，会更倾向于学习'不流失'的特征，导致对'流失'的判断能力弱。

3. 代码逻辑印证

• 特征选择：代码中只用了三个特征：['Contract_Month', 'PaymentElectronic', 'internet_other']。这可能过于简化，遗漏了如'用户月消费金额'、'客服通话次数'等重要特征，导致模型学习能力有限。
• 模型选择：使用了默认参数的 LogisticRegression，没有针对样本不平衡问题进行调整（如设置 class_weight='balanced'）。

四、总结与优化建议

一句话总结报告：这个逻辑回归模型对不流失的客户预测得很好（召回率 90%），但对业务真正关心的流失客户预测能力很差（召回率 40%），模型可用性较低。

如果要向面试官或领导汇报，可以这样说：

'从分类评估报告看，模型整体准确率有 76%，但这个指标被多数类（不流失）拉高了。真正的业务短板在于对流失客户的召回率只有 40%，这意味着 60% 即将流失的客户没有被识别出来。主要原因是样本不平衡，且目前使用的特征较少。下一步需要针对这些问题进行优化。'

后续优化方向：

1. 增加特征：引入更多与流失相关的特征，如消费金额、使用时长、投诉次数等。
2. 处理样本不平衡：
   • 调整模型权重：在 LogisticRegression 中设置 class_weight='balanced'。
   • 重采样：对少数类（流失）进行过采样（如 SMOTE），或对多数类进行欠采样。
3. 调整分类阈值：模型默认用 0.5 作为判断流失/不流失的阈值。为了提高召回率，可以适当降低阈值（如 0.3），让模型对流失更敏感（但这会增加误报，需要权衡）。