医疗AI场景下算法编程的深度解析（2026新生培训讲稿）（八）

第15章 模型融合与集成策略

在机器学习竞赛和实际应用中，模型融合（Model Ensemble）是提升预测性能的利器。通过组合多个不同的基模型，集成策略能够综合各个模型的优势，抵消单个模型的偏差和方差，从而获得比任何单一模型更稳定、更准确的预测结果。在医疗AI领域，模型融合同样具有重要价值——面对复杂多模态的医疗数据，单一模型往往难以全面捕捉所有信息，而融合多个异质模型可以提升诊断的鲁棒性和准确性。本章将从集成学习的基本思想出发，系统介绍常见的模型融合方法，包括投票法、平均法、Stacking、Blending等，并通过实战案例展示如何构建融合模型来提升疾病预测性能。

15.1 集成学习的基本思想

集成学习（Ensemble Learning）的核心思想是“三个臭皮匠，顶个诸葛亮”——通过结合多个学习器来完成学习任务，通常可以获得比单一学习器更优越的泛化性能。根据个体学习器的生成方式，集成学习主要分为两大类：

• Bagging：并行训练多个独立的基学习器，然后通过平均或投票进行结合。典型代表是随机森林。Bagging主要降低方差。
• Boosting：串行训练基学习器，每个新学习器关注前一个学习器的错误，从而降低偏差。典型代表是AdaBoost、XGBoost。

模型融合（Model Ensemble）通常指将多个已经训练好的、可能异质的基模型（如逻辑回归、SVM、XGBoost等）进行组合，以进一步提升性能。融合可以在不同层面进行：

• 数据层面：通过不同的数据采样或变换训练多个模型。
• 模型层面：使用不同的算法、不同的超参数训练模型。
• 特征层面：使用不同的特征子集训练模型。

15.2 常见的模型融合方法

15.2.1 简单投票法（Voting）

对于分类任务，最简单的融合方法是投票法。每个基模型对样本进行预测，然后统计所有模型的预测结果，选择得票最多的类别作为最终输出。

• 硬投票（Hard Voting）：直接统计类别票数，多数胜出。适用于模型性能相近且独立的情况。
• 软投票（Soft Voting）：对每个类别的预测概率进行平均（或加权平均），选择平均概率最高的类别。软投票通常优于硬投票，因为它考虑了模型的不确定性。

投票法要求基模型之间相关性较低，否则融合效果有限。如果所有模型都倾向于犯相同的错误，投票无法纠正。

15.2.2 简单平均法（Averaging）

对于回归任务，通常采用平均法。计算所有基模型预测值的算术平均或加权平均作为最终输出。加权平均需要根据验证集性能确定权重，通常性能好的模型赋予更高权重。

15.2.3 Bagging集成（Bootstrap Aggregating）

Bagging通过对训练数据进行有放回采样，生成多个不同的训练子集，分别训练基模型，然后平均或投票。随机森林就是Bagging与决策树的结合。Bagging能够有效降低方差，防止过拟合。

15.2.4 Boosting集成

Boosting通过串行训练，不断调整样本权重，使后续模型关注前序模型预测错误的样本。常见的Boosting算法包括AdaBoost、Gradient Boosting、XGBoost、LightGBM、CatBoost等。Boosting主要降低偏差，但也容易过拟合，需配合正则化。

15.2.5 Stacking（堆叠泛化）

Stacking是一种层次化的融合方法。它使用一个次级学习器（也称为元学习器）来组合多个基模型的预测结果。具体步骤如下：

1. 基模型训练：将训练集划分为K折（例如5折），对每个基模型进行K折交叉训练。对于每一折，用其余K-1折数据训练基模型，然后预测该折的样本（生成折叠外预测）。最终，每个基模型对训练集生成一组预测值（称为元特征），对测试集生成K个预测值，取平均作为测试集的元特征。
2. 元特征构建：将所有基模型对训练集的预测值作为新的特征，连同真实标签，构成元训练集。
3. 次级学习器训练：在元训练集上训练一个次级学习器（通常选择简单的线性模型，如逻辑回归，以防止过拟合）。
4. 测试集预测：用基模型对测试集生成预测值，作为元测试集特征，输入次级学习器得到最终预测。

Stacking能够有效融合不同模型的优势，但需要注意避免过拟合：使用交叉验证生成元特征，次级学习器不宜过于复杂。

15.2.6 Blending

Blending是Stacking的简化版本。它直接将训练集划分为两个子集：训练集和验证集。基模型在训练集上训练，然后在验证集上预测，生成元特征；次级学习器在验证集的元特征上训练。对测试集的预测：先用基模型预测，再用次级学习器预测。Blending比Stacking简单，但验证集划分可能导致数据利用率低，易过拟合。

15.2.7 加权融合

加权融合是平均法的推广，根据基模型在验证集上的表现（如AUC、准确率）赋予不同权重。权重可以通过网格搜索或贝叶斯优化确定。

15.3 医疗场景中的应用

模型融合在医疗AI领域有广泛应用，尤其当单一模型难以达到临床要求的性能时。

15.3.1 多模态数据融合

医疗数据往往是多模态的，如影像、文本、基因组、临床指标等。不同模型擅长处理不同类型的数据：CNN擅长影像，RNN/Transformer擅长文本，XGBoost擅长表格数据。通过Stacking或加权融合，可以将各模态模型的输出结合起来，实现多模态融合诊断。

示例：阿尔茨海默病诊断融合模型

• 模型1：基于MRI影像的3D CNN，输出AD概率。
• 模型2：基于脑脊液生物标志物的XGBoost，输出AD概率。
• 模型3：基于认知量表的逻辑回归，输出AD概率。
  将三个概率作为元特征，用逻辑回归进行融合，可显著提升诊断准确率。

15.3.2 异质算法融合

不同算法有不同偏差。线性模型可解释性强，但拟合非线性能力有限；树模型能捕捉非线性，但对噪声敏感；SVM在小样本高维数据上表现好。融合这些异质模型可以取长补短。

示例：ICU死亡率预测融合模型

• XGBoost：捕捉复杂非线性关系。
• 逻辑回归：提供可解释的线性部分。
• 随机森林：降低方差。
  通过软投票或Stacking，可得到比单一模型更稳定、更准确的预测。

15.3.3 多时间点模型融合

对于时序医疗数据（如多次就诊、连续生命体征监测），可训练不同时间窗口的模型，然后融合它们的预测。例如，基于入院24小时数据、48小时数据、72小时数据分别训练模型，融合得到更鲁棒的预后预测。

15.3.4 多中心数据融合

不同医院的数据分布可能存在差异。可以针对每个中心训练一个模型，然后融合所有中心模型的预测，得到对新患者的通用预测。联邦学习框架下，这种融合可在不共享原始数据的情况下实现。

15.4 案例实战：基于Stacking的败血症预测融合模型

本节继续使用第14章的败血症预测数据集，演示如何通过Stacking融合多个异质模型，进一步提升预测性能。

15.4.1 数据集回顾

使用相同的ICU败血症数据集（10,000样本，20特征，阳性率8%）。已经划分为训练集（8,000）和测试集（2,000）。

15.4.2 基模型选择

选择三个异质基模型：

• 逻辑回归：简单、可解释，作为基线。
• 随机森林：Bagging代表，能处理非线性。
• XGBoost：Boosting代表，高精度。

这些模型在第14章中已训练过，但这里将使用交叉验证生成元特征。

15.4.3 实现Stacking

我们使用scikit-learn的StackingClassifier，它内置了交叉验证生成元特征的功能。也可以手动实现以更好地理解过程。

方法一：使用StackingClassifier

from sklearn.ensemble import StackingClassifier from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from sklearn.model_selection import StratifiedKFold from sklearn.metrics import roc_auc_score, average_precision_score, classification_report import numpy as np # 定义基模型 base_models =[('lr', LogisticRegression(max_iter=1000, class_weight='balanced')),('rf', RandomForestClassifier(n_estimators=100, class_weight='balanced', random_state=42)),('xgb', XGBClassifier(scale_pos_weight=(y_train ==0).sum()/(y_train ==1).sum(), random_state=42, use_label_encoder=False, eval_metric='logloss'))]# 定义元模型（通常选简单线性模型） meta_model = LogisticRegression(max_iter=1000)# 创建Stacking分类器 stacking = StackingClassifier(estimators=base_models, final_estimator=meta_model, cv=5, stack_method='predict_proba') stacking.fit(X_train, y_train)# 预测 y_proba_stack = stacking.predict_proba(X_test)[:,1] y_pred_stack = stacking.predict(X_test)print("Stacking融合模型结果：")print(f"AUC: { roc_auc_score(y_test, y_proba_stack):.3f}")print(f"PR AUC: { average_precision_score(y_test, y_proba_stack):.3f}")print(classification_report(y_test, y_pred_stack))

方法二：手动实现Stacking（便于理解）

# 设置交叉验证折数 kfold = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)# 初始化数组存放训练集的元特征 train_meta_features = np.zeros((X_train.shape[0],len(base_models))) test_meta_features = np.zeros((X_test.shape[0],len(base_models)))# 对每个基模型进行交叉验证预测for i,(name, model)inenumerate(base_models):for train_idx, val_idx in kfold.split(X_train, y_train): X_tr, X_val = X_train.iloc[train_idx], X_train.iloc[val_idx] y_tr, y_val = y_train.iloc[train_idx], y_train.iloc[val_idx]# 训练基模型 model_clone = model.__class__(**model.get_params()) model_clone.fit(X_tr, y_tr)# 预测验证集概率（取正类概率） train_meta_features[val_idx, i]= model_clone.predict_proba(X_val)[:,1]# 对测试集进行累积预测（平均） test_meta_features[:, i]+= model_clone.predict_proba(X_test)