PythonAI算法
医疗 AI 场景下模型融合与集成策略深度解析
介绍机器学习中的模型融合技术，包括投票法、平均法、Bagging、Boosting、Stacking 及 Blending 等方法。重点阐述在医疗 AI 领域如何利用多模态数据、异质算法及时序数据进行融合以提升诊断性能。通过败血症预测实战案例，演示使用 scikit-learn 构建 Stacking 融合模型的具体实现步骤与代码，展示如何结合逻辑回归、随机森林和 XGBoost 提升预测准确率与鲁棒性。
介绍机器学习中的模型融合技术，包括投票法、平均法、Bagging、Boosting、Stacking 及 Blending 等方法。重点阐述在医疗 AI 领域如何利用多模态数据、异质算法及时序数据进行融合以提升诊断性能。通过败血症预测实战案例，演示使用 scikit-learn 构建 Stacking 融合模型的具体实现步骤与代码，展示如何结合逻辑回归、随机森林和 XGBoost 提升预测准确率与鲁棒性。
在机器学习竞赛和实际应用中，模型融合（Model Ensemble）是提升预测性能的利器。通过组合多个不同的基模型，集成策略能够综合各个模型的优势，抵消单个模型的偏差和方差，从而获得比任何单一模型更稳定、更准确的预测结果。在医疗 AI 领域，模型融合同样具有重要价值——面对复杂多模态的医疗数据，单一模型往往难以全面捕捉所有信息，而融合多个异质模型可以提升诊断的鲁棒性和准确性。本章将从集成学习的基本思想出发，系统介绍常见的模型融合方法，包括投票法、平均法、Stacking、Blending 等，并通过实战案例展示如何构建融合模型来提升疾病预测性能。
集成学习（Ensemble Learning）的核心思想是'三个臭皮匠，顶个诸葛亮'——通过结合多个学习器来完成学习任务，通常可以获得比单一学习器更优越的泛化性能。根据个体学习器的生成方式，集成学习主要分为两大类：
模型融合（Model Ensemble）通常指将多个已经训练好的、可能异质的基模型（如逻辑回归、SVM、XGBoost 等）进行组合，以进一步提升性能。融合可以在不同层面进行：
对于分类任务，最简单的融合方法是投票法。每个基模型对样本进行预测，然后统计所有模型的预测结果，选择得票最多的类别作为最终输出。
投票法要求基模型之间相关性较低，否则融合效果有限。如果所有模型都倾向于犯相同的错误，投票无法纠正。
对于回归任务，通常采用平均法。计算所有基模型预测值的算术平均或加权平均作为最终输出。加权平均需要根据验证集性能确定权重，通常性能好的模型赋予更高权重。
Bagging 通过对训练数据进行有放回采样，生成多个不同的训练子集，分别训练基模型，然后平均或投票。随机森林就是 Bagging 与决策树的结合。Bagging 能够有效降低方差，防止过拟合。
Boosting 通过串行训练，不断调整样本权重，使后续模型关注前序模型预测错误的样本。常见的 Boosting 算法包括 AdaBoost、Gradient Boosting、XGBoost、LightGBM、CatBoost 等。Boosting 主要降低偏差，但也容易过拟合，需配合正则化。
Stacking 是一种层次化的融合方法。它使用一个次级学习器（也称为元学习器）来组合多个基模型的预测结果。具体步骤如下：
Stacking 能够有效融合不同模型的优势，但需要注意避免过拟合：使用交叉验证生成元特征，次级学习器不宜过于复杂。
Blending 是 Stacking 的简化版本。它直接将训练集划分为两个子集：训练集和验证集。基模型在训练集上训练，然后在验证集上预测，生成元特征；次级学习器在验证集的元特征上训练。对测试集的预测：先用基模型预测，再用次级学习器预测。Blending 比 Stacking 简单，但验证集划分可能导致数据利用率低，易过拟合。
加权融合是平均法的推广，根据基模型在验证集上的表现（如 AUC、准确率）赋予不同权重。权重可以通过网格搜索或贝叶斯优化确定。
模型融合在医疗 AI 领域有广泛应用，尤其当单一模型难以达到临床要求的性能时。
医疗数据往往是多模态的，如影像、文本、基因组、临床指标等。不同模型擅长处理不同类型的数据：CNN 擅长影像，RNN/Transformer 擅长文本，XGBoost 擅长表格数据。通过 Stacking 或加权融合，可以将各模态模型的输出结合起来，实现多模态融合诊断。
示例：阿尔茨海默病诊断融合模型
不同算法有不同偏差。线性模型可解释性强，但拟合非线性能力有限；树模型能捕捉非线性，但对噪声敏感；SVM 在小样本高维数据上表现好。融合这些异质模型可以取长补短。
示例：ICU 死亡率预测融合模型
对于时序医疗数据（如多次就诊、连续生命体征监测），可训练不同时间窗口的模型，然后融合它们的预测。例如，基于入院 24 小时数据、48 小时数据、72 小时数据分别训练模型，融合得到更鲁棒的预后预测。
不同医院的数据分布可能存在差异。可以针对每个中心训练一个模型，然后融合所有中心模型的预测，得到对新患者的通用预测。联邦学习框架下，这种融合可在不共享原始数据的情况下实现。
本节继续使用第 14 章的败血症预测数据集，演示如何通过 Stacking 融合多个异质模型，进一步提升预测性能。
使用相同的 ICU 败血症数据集（10,000 样本，20 特征，阳性率 8%）。已经划分为训练集（8,000）和测试集（2,000）。
选择三个异质基模型：
这些模型在第 14 章中已训练过，但这里将使用交叉验证生成元特征。
我们使用 scikit-learn 的 StackingClassifier，它内置了交叉验证生成元特征的功能。也可以手动实现以更好地理解过程。
StackingClassifierfrom sklearn.ensemble import StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from xgboost import XGBClassifier
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score, average_precision_score, classification_report
import numpy as np
# 定义基模型
base_models = [
('lr', LogisticRegression(max_iter=1000, class_weight='balanced')),
('rf', RandomForestClassifier(n_estimators=100, class_weight='balanced', random_state=42)),
('xgb', XGBClassifier(
scale_pos_weight=(y_train == 0).sum() / (y_train == 1).sum(),
random_state=42,
use_label_encoder=False,
eval_metric='logloss'
))
]
# 定义元模型（通常选简单线性模型）
meta_model = LogisticRegression(max_iter=1000)
# 创建 Stacking 分类器
stacking = StackingClassifier(
estimators=base_models,
final_estimator=meta_model,
cv=5,
stack_method='predict_proba'
)
stacking.fit(X_train, y_train)
# 预测
y_proba_stack = stacking.predict_proba(X_test)[:, 1]
y_pred_stack = stacking.predict(X_test)
print("Stacking 融合模型结果：")
print(f"AUC: {roc_auc_score(y_test, y_proba_stack):f}")
()
(classification_report(y_test, y_pred_stack))
# 设置交叉验证折数
kfold = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
# 初始化数组存放训练集的元特征
train_meta_features = np.zeros((X_train.shape[0], len(base_models)))
test_meta_features = np.zeros((X_test.shape[0], len(base_models)))
# 对每个基模型进行交叉验证预测
for i, (name, model) in enumerate(base_models):
for train_idx, val_idx in kfold.split(X_train, y_train):
X_tr, X_val = X_train.iloc[train_idx], X_train.iloc[val_idx]
y_tr, y_val = y_train.iloc[train_idx], y_train.iloc[val_idx]
# 训练基模型
model_clone = model.__class__(**model.get_params())
model_clone.fit(X_tr, y_tr)
# 预测验证集概率（取正类概率）
train_meta_features[val_idx, i] = model_clone.predict_proba(X_val)[:, 1]
# 对测试集进行累积预测（平均）
test_meta_features[:, i] += model_clone.predict_proba(X_test)
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online