机器学习核心算法实战笔记：从 KNN 到集成学习

迭代更新参数以最小化损失函数。公式为 $w_{new} = w_{old} - \alpha \cdot \nabla L(w)$。

6. 银行信贷案例

应用梯度下降法解决实际信贷风险评估问题。

7. 模型评估

使用 R²分数、均方误差等指标。

8. 正则化

• L1 正则化：倾向于稀疏解，可用于特征选择。
• L2 正则化：防止过拟合，限制权重大小。

五、逻辑回归

1. 简介

虽名为回归，实则用于二分类问题。通过 Sigmoid 函数将输出映射到 (0, 1)。

2. 概率基础

条件概率公式 $P(B|A) = P(AB) / P(A)$。

3. 原理推导

利用极大似然估计求解参数。

4. 癌症预测案例

应用逻辑回归进行医疗诊断预测。

5. 评估指标

• 混淆矩阵：TP, FP, TN, FN
• 精确率 (Precision)：预测为正例中实际为正例的比例。
• 召回率 (Recall)：实际正例中被正确预测的比例。
• F1 值：精确率与召回率的调和平均数。
• ROC 曲线与 AUC：综合评估模型性能。

六、决策树

1. 简介

通过一系列规则对数据进行分类或回归。

2. 信息熵与信息增益

• 信息熵：衡量数据混乱程度。
• 信息增益：划分前后熵的减少量，ID3 算法依据此选择分裂特征。

3. 常见算法

• ID3：基于信息增益。
• C4.5：基于信息增益率，解决 ID3 偏好取值多的特征问题。
• CART：基于基尼指数，支持分类与回归。

4. 剪枝

后剪枝更精准但消耗资源，预剪枝效率高但可能欠拟合。

5. 泰坦尼克号案例

应用决策树进行生存预测。

七、集成学习

1. 思想

结合多个弱学习器构建强学习器。

2. Bagging 与 Boosting

• Bagging：并行训练，降低方差，代表算法随机森林。
• Boosting：串行训练，降低偏差，代表算法 AdaBoost、GBDT。

3. 随机森林

基于 Bagging 思想，引入特征随机性。

4. AdaBoost

自适应提升，增加前一轮错误样本的权重。

5. GBDT

梯度提升树，利用负梯度作为残差逼近目标。

6. XGBoost

优化的 GBDT，引入二阶泰勒展开，支持并行计算与正则化。

八、聚类算法

1. 简介

无监督学习，将相似样本归为一类。

2. KMeans 算法

迭代更新质心，直至收敛。

3. 评估指标

• SSE：簇内误差平方和。
• 轮廓系数 (SC/CH)：衡量簇间分离度与簇内紧密度。

4. 用户分群案例

应用 KMeans 对用户数据进行分群分析。

九、数据挖掘实战项目

1. 电力负荷预测

完整的项目流程，包括数据预处理、特征工程、模型训练、评估与保存。

2. 项目结构

建议采用规范的目录结构，避免路径导入错误。例如将工具类放入 utils 包中。

3. 特征工程

使用 shift() 函数构建时序特征，处理缺失值。

4. 模型训练与预测

结合网格搜索优化超参，保存模型以便后续推理。

5. 结果评价

对比预测值与真实值，生成可视化图表评估模型效果。