模型融合与集成策略
在机器学习竞赛和实际落地中，模型融合（Model Ensemble）往往是提升预测性能的关键一步。通过组合多个不同的基模型，集成策略能够综合各自的优势，抵消单个模型的偏差和方差，从而获得比任何单一模型更稳定、更准确的预测结果。
特别是在医疗 AI 领域，面对复杂多模态的数据，单一模型很难全面捕捉所有信息。融合多个异质模型可以显著提升诊断的鲁棒性和准确性。我们将从集成学习的基本思想出发，系统介绍常见的融合方法，并通过实战案例展示如何构建融合模型来提升疾病预测性能。
集成学习的核心逻辑
集成学习的核心思想其实很简单——'三个臭皮匠，顶个诸葛亮'。通过结合多个学习器来完成学习任务，通常能获得比单一学习器更优越的泛化性能。根据个体学习器的生成方式，主要分为两大类：
- Bagging：并行训练多个独立的基学习器，然后通过平均或投票进行结合。典型代表是随机森林。Bagging 主要降低方差。
- Boosting：串行训练基学习器，每个新学习器关注前一个学习器的错误，从而降低偏差。典型代表是 AdaBoost、XGBoost。
模型融合通常指将多个已经训练好的、可能异质的基模型（如逻辑回归、SVM、XGBoost 等）进行组合。融合可以在不同层面进行：
- 数据层面：通过不同的数据采样或变换训练多个模型。
- 模型层面：使用不同的算法、不同的超参数训练模型。
- 特征层面：使用不同的特征子集训练模型。
常见的模型融合方法
简单投票法（Voting）
对于分类任务，最简单的融合方法是投票法。每个基模型对样本进行预测，然后统计所有模型的预测结果，选择得票最多的类别作为最终输出。
- 硬投票（Hard Voting）：直接统计类别票数，多数胜出。适用于模型性能相近且独立的情况。
- 软投票（Soft Voting）：对每个类别的预测概率进行平均（或加权平均），选择平均概率最高的类别。软投票通常优于硬投票，因为它考虑了模型的不确定性。
这里要注意，投票法要求基模型之间相关性较低。如果所有模型都倾向于犯相同的错误，投票就无法纠正。
简单平均法（Averaging）
对于回归任务，通常采用平均法。计算所有基模型预测值的算术平均或加权平均作为最终输出。加权平均需要根据验证集性能确定权重，通常性能好的模型赋予更高权重。
Bagging 集成（Bootstrap Aggregating）
Bagging 通过对训练数据进行有放回采样，生成多个不同的训练子集，分别训练基模型，然后平均或投票。随机森林就是 Bagging 与决策树的结合。Bagging 能够有效降低方差，防止过拟合。
Boosting 集成
Boosting 通过串行训练，不断调整样本权重，使后续模型关注前序模型预测错误的样本。常见的 Boosting 算法包括 AdaBoost、Gradient Boosting、XGBoost、LightGBM、CatBoost 等。Boosting 主要降低偏差，但也容易过拟合，需配合正则化。
Stacking（堆叠泛化）
Stacking 是一种层次化的融合方法。它使用一个次级学习器（也称为元学习器）来组合多个基模型的预测结果。具体步骤如下：
- 基模型训练：将训练集划分为 K 折（例如 5 折），对每个基模型进行 K 折交叉训练。对于每一折，用其余 K-1 折数据训练基模型，然后预测该折的样本（生成折叠外预测）。最终，每个基模型对训练集生成一组预测值（称为元特征），对测试集生成 K 个预测值，取平均作为测试集的元特征。
- 元特征构建：将所有基模型对训练集的预测值作为新的特征，连同真实标签，构成元训练集。
- 次级学习器训练：在元训练集上训练一个次级学习器（通常选择简单的线性模型，如逻辑回归，以防止过拟合）。
- 测试集预测：用基模型对测试集生成预测值，作为元测试集特征，输入次级学习器得到最终预测。
Stacking 能够有效融合不同模型的优势，但需要注意避免过拟合：使用交叉验证生成元特征，次级学习器不宜过于复杂。
Blending
Blending 是 Stacking 的简化版本。它直接将训练集划分为两个子集：训练集和验证集。基模型在训练集上训练，然后在验证集上预测，生成元特征；次级学习器在验证集的元特征上训练。对测试集的预测：先用基模型预测，再用次级学习器预测。Blending 比 Stacking 简单，但验证集划分可能导致数据利用率低，易过拟合。
