XGBoost 机器学习实战：从基础操作到模型调优

DMatrix 支持稀疏矩阵，在处理大型数据集时优势明显。

5.2 设置参数

XGBoost 提供了丰富的超参数供调节。我们先定义一组基础参数：

params = {
    'objective': 'multi:softmax',  # 多分类问题
    'num_class': 3,                # 类别数量
    'max_depth': 4,                # 树的最大深度
    'eta': 0.3,                    # 学习率
    'seed': 42                     # 随机种子
}

• objective：指定损失函数，此处选择多分类的 softmax。
• max_depth：控制树的复杂度，过深容易导致过拟合。
• eta：学习率，决定每棵树对最终模型的贡献权重。

5.3 模型训练

使用 xgb.train 进行训练：

num_round = 10  # 迭代次数
bst = xgb.train(params, dtrain, num_boost_round=num_round)

5.4 预测

训练完成后即可对测试集进行预测：

preds = bst.predict(dtest)
print(preds)

输出结果为每个样本的预测类别索引。

模型评估

我们可以结合 Scikit-learn 的指标来评估模型性能：

from sklearn.metrics import accuracy_score

accuracy = accuracy_score(y_test, preds)
print(f"模型准确率：{accuracy:.2f}")

在鸢尾花数据集上，通常能获得较高的准确率，表明模型表现良好。

超参数调优

适当的调优能显著提升模型上限。我们可以借助 GridSearchCV 进行自动化搜索。

7.1 常用超参数

• max_depth：影响模型复杂度与过拟合风险。
• learning_rate（或 eta）：控制每次迭代的步长。
• n_estimators：提升树的数量。

7.2 网格搜索

使用 Scikit-learn 封装的 XGBClassifier 配合网格搜索：

from sklearn.model_selection import GridSearchCV
from xgboost import XGBClassifier

model = XGBClassifier()
param_grid = {
    'max_depth': [3, 4, 5],
    'n_estimators': [50, 100, 200],
    'learning_rate': [0.1, 0.3, 0.5]
}

grid_search = GridSearchCV(
    model, param_grid, scoring='accuracy', cv=3
)
grid_search.fit(X_train, y_train)

print("最佳参数组合：", grid_search.best_params_)

网格搜索会自动遍历不同组合并返回最优解。

XGBoost 特征重要性分析

理解哪些特征对模型影响最大至关重要：

import matplotlib.pyplot as plt

xgb.plot_importance(bst)
plt.show()

生成的图表直观展示了各特征的贡献度，有助于后续的特征工程优化。

高级功能扩展

9.1 模型解释与可解释性

在生产环境中，解释模型预测结果往往比单纯追求精度更重要。SHAP (SHapley Additive exPlanations) 是常用的解释工具。

安装 SHAP：

pip install shap

使用示例：

import shap

explainer = shap.TreeExplainer(bst)
shap_values = explainer.shap_values(dtest)
shap.summary_plot(shap_values, X_test)

红色表示正向影响，蓝色表示负向影响，帮助理解特征如何驱动预测。

9.2 XGBoost 与交叉验证

交叉验证能有效减少过拟合风险。XGBoost 内置了 cv 函数：

cv_results = xgb.cv(
    params, dtrain, num_boost_round=50,
    nfold=5, metrics="mlogloss",
    as_pandas=True, seed=42
)
print(cv_results)

通过多次折叠训练，可以计算出平均损失值，辅助选择最优参数。

9.3 处理缺失值

XGBoost 具备强大的缺失值处理能力，无需手动填补 NaN 值：

import numpy as np

# 假设数据集中存在缺失值
X_train[0, 0] = np.nan
dtrain = xgb.DMatrix(X_train, label=y_train)

算法会在训练过程中自动寻找最优分裂方向来处理缺失数据。

XGBoost 在不同任务中的应用

10.1 回归任务

对于回归问题，目标函数设为 reg:squarederror：

params = {
    'objective': 'reg:squarederror',
    'max_depth': 4,
    'eta': 0.1
}

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

# 生成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test)

bst = xgb.train(params, dtrain, num_boost_round=100)
preds = bst.predict(dtest)
print(preds)

10.2 二分类任务

二分类问题使用 binary:logistic，输出为概率值：

params = {
    'objective': 'binary:logistic',
    'max_depth': 4,
    'eta': 0.3
}

from sklearn.datasets import make_classification

X, y = make_classification(
    n_samples=1000, n_features=20, n_classes=2
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test)

bst = xgb.train(params, dtrain, num_boost_round=100)
preds = bst.predict(dtest)

分布式训练

XGBoost 支持多机多 GPU 的分布式训练，适用于大规模数据集。通过 Rabit 框架进行节点通信，可结合 Spark、Dask 等框架实现高效扩展。

总结

本文详细介绍了 XGBoost 的核心流程，涵盖从安装、数据预处理、模型训练到调优评估的全链路。无论是分类、回归还是特征分析，XGBoost 都展现了强大的竞争力。通过合理的参数调整与特征工程，可以在实际项目中发挥更大价值。