医疗 AI 场景下的模型融合与集成策略

15.2.6 Blending

Blending 是 Stacking 的简化版本。它直接将训练集划分为两个子集：训练集和验证集。基模型在训练集上训练，然后在验证集上预测，生成元特征；次级学习器在验证集的元特征上训练。对测试集的预测：先用基模型预测，再用次级学习器预测。Blending 比 Stacking 简单，但验证集划分可能导致数据利用率低，易过拟合。

15.2.7 加权融合

加权融合是平均法的推广，根据基模型在验证集上的表现（如 AUC、准确率）赋予不同权重。权重可以通过网格搜索或贝叶斯优化确定。

15.3 医疗场景中的应用

模型融合在医疗 AI 领域有广泛应用，尤其当单一模型难以达到临床要求的性能时。

15.3.1 多模态数据融合

医疗数据往往是多模态的，如影像、文本、基因组、临床指标等。不同模型擅长处理不同类型的数据：CNN 擅长影像，RNN/Transformer 擅长文本，XGBoost 擅长表格数据。通过 Stacking 或加权融合，可以将各模态模型的输出结合起来，实现多模态融合诊断。

示例：阿尔茨海默病诊断融合模型

• 模型 1：基于 MRI 影像的 3D CNN，输出 AD 概率。
• 模型 2：基于脑脊液生物标志物的 XGBoost，输出 AD 概率。
• 模型 3：基于认知量表的逻辑回归，输出 AD 概率。 将三个概率作为元特征，用逻辑回归进行融合，可显著提升诊断准确率。

15.3.2 异质算法融合

不同算法有不同偏差。线性模型可解释性强，但拟合非线性能力有限；树模型能捕捉非线性，但对噪声敏感；SVM 在小样本高维数据上表现好。融合这些异质模型可以取长补短。

示例：ICU 死亡率预测融合模型

• XGBoost：捕捉复杂非线性关系。
• 逻辑回归：提供可解释的线性部分。
• 随机森林：降低方差。 通过软投票或 Stacking，可得到比单一模型更稳定、更准确的预测。

15.3.3 多时间点模型融合

对于时序医疗数据（如多次就诊、连续生命体征监测），可训练不同时间窗口的模型，然后融合它们的预测。例如，基于入院 24 小时数据、48 小时数据、72 小时数据分别训练模型，融合得到更鲁棒的预后预测。

15.3.4 多中心数据融合

不同医院的数据分布可能存在差异。可以针对每个中心训练一个模型，然后融合所有中心模型的预测，得到对新患者的通用预测。联邦学习框架下，这种融合可在不共享原始数据的情况下实现。

15.4 案例实战：基于 Stacking 的败血症预测融合模型

本节继续使用第 14 章的败血症预测数据集，演示如何通过 Stacking 融合多个异质模型，进一步提升预测性能。

15.4.1 数据集回顾

使用相同的 ICU 败血症数据集（10,000 样本，20 特征，阳性率 8%）。已经划分为训练集（8,000）和测试集（2,000）。

15.4.2 基模型选择

选择三个异质基模型：

• 逻辑回归：简单、可解释，作为基线。
• 随机森林：Bagging 代表，能处理非线性。
• XGBoost：Boosting 代表，高精度。

这些模型在第 14 章中已训练过，但这里将使用交叉验证生成元特征。

15.4.3 实现 Stacking

我们使用 scikit-learn 的 StackingClassifier，它内置了交叉验证生成元特征的功能。也可以手动实现以更好地理解过程。

方法一：使用 StackingClassifier

from sklearn.ensemble import StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from xgboost import XGBClassifier
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score, average_precision_score, classification_report
import numpy as np

# 定义基模型
base_models = [
    ('lr', LogisticRegression(max_iter=1000, class_weight='balanced')),
    ('rf', RandomForestClassifier(n_estimators=100, class_weight='balanced', random_state=42)),
    ('xgb', XGBClassifier(
        scale_pos_weight=(y_train == 0).sum() / (y_train == 1).sum(),
        random_state=42,
        use_label_encoder=False,
        eval_metric='logloss'
    ))
]

# 定义元模型（通常选简单线性模型）
meta_model = LogisticRegression(max_iter=1000)

# 创建 Stacking 分类器
stacking = StackingClassifier(
    estimators=base_models,
    final_estimator=meta_model,
    cv=5,
    stack_method='predict_proba'
)
stacking.fit(X_train, y_train)

# 预测
y_proba_stack = stacking.predict_proba(X_test)[:, 1]
y_pred_stack = stacking.predict(X_test)

print("Stacking 融合模型结果：")
print(f"AUC: {roc_auc_score(y_test, y_proba_stack):.3f}")
print(f"PR AUC: {average_precision_score(y_test, y_proba_stack):.3f}")
print(classification_report(y_test, y_pred_stack))

方法二：手动实现 Stacking（便于理解）

# 设置交叉验证折数
kfold = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

# 初始化数组存放训练集的元特征
train_meta_features = np.zeros((X_train.shape[0], len(base_models)))
test_meta_features = np.zeros((X_test.shape[0], len(base_models)))

# 对每个基模型进行交叉验证预测
for i, (name, model) in enumerate(base_models):
    for train_idx, val_idx in kfold.split(X_train, y_train):
        X_tr, X_val = X_train.iloc[train_idx], X_train.iloc[val_idx]
        y_tr, y_val = y_train.iloc[train_idx], y_train.iloc[val_idx]
        
        # 训练基模型
        model_clone = model.__class__(**model.get_params())
        model_clone.fit(X_tr, y_tr)
        
        # 预测验证集概率（取正类概率）
        train_meta_features[val_idx, i] = model_clone.predict_proba(X_val)[:, 1]
        
        # 对测试集进行累积预测（平均）
        test_meta_features[:, i] += model_clone.predict_proba(X_test)