XGBoost Python 详细教程与实战案例

树参数

学习任务参数

五、实战案例 1：鸢尾花分类（多分类问题）

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 创建 DMatrix（XGBoost 专用数据结构）
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 设置参数
params = {
    'objective': 'multi:softmax',
    'num_class': 3,
    'max_depth': 3,
    'eta': 0.1,
    'gamma': 0.1,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'eval_metric': 'merror'
}

# 训练模型
num_round = 100
model = xgb.train(params, dtrain, num_round)

# 预测
preds = model.predict(dtest)
accuracy = accuracy_score(y_test, preds)
print(f"测试集准确率：{accuracy:.4f}")

# 特征重要性
xgb.plot_importance(model)
plt.title('鸢尾花分类特征重要性')
plt.show()

代码解析：

1. DMatrix：XGBoost 的高效数据存储结构，优化内存使用和训练速度
2. 多分类设置：num_class 参数必须明确指定类别数量
3. 特征重要性：基于特征在树中被用作分裂点的次数计算

六、实战案例 2：糖尿病预测（回归问题）

# 加载数据
diabetes = load_diabetes()
X, y = diabetes.data, diabetes.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# 参数设置
params = {
    'objective': 'reg:squarederror',
    'max_depth': 4,
    'eta': 0.05,
    'subsample': 0.7,
    'colsample_bytree': 0.7,
    'eval_metric': 'rmse'
}

# 训练模型
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)
model = xgb.train(
    params, dtrain, num_boost_round=200, early_stopping_rounds=20,
    evals=[(dtest, "Test")]
)

# 预测与评估
preds = model.predict(dtest)
rmse = np.sqrt(mean_squared_error(y_test, preds))
print(f"测试集 RMSE: {rmse:.4f}")

# 可视化树结构
xgb.plot_tree(model, num_trees=0)
plt.title('XGBoost 决策树示例')
plt.show()

代码解析：

1. 回归任务：使用 reg:squarederror 作为目标函数
2. 早停机制：early_stopping_rounds 防止过拟合
3. 树结构可视化：直观理解模型决策过程

七、模型调优技巧

1. 交叉验证

# 交叉验证
cv_results = xgb.cv(
    params, dtrain, num_boost_round=200, nfold=5,
    metrics='rmse', early_stopping_rounds=20, seed=42
)
print(f"最佳迭代次数：{cv_results.shape[0]}")
print(f"最佳 RMSE: {cv_results['test-rmse-mean'].min():.4f}")

2. 网格搜索调参

# 使用 sklearn 接口
xgb_model = xgb.XGBRegressor(objective='reg:squarederror')
param_grid = {
    'max_depth': [3, 4, 5],
    'learning_rate': [0.01, 0.05, 0.1],
    'n_estimators': [100, 200, 300],
    'gamma': [0, 0.1, 0.2]
}
grid_search = GridSearchCV(
    estimator=xgb_model, param_grid=param_grid, cv=5,
    scoring='neg_mean_squared_error'
)
grid_search.fit(X_train, y_train)
print(f"最佳参数：{grid_search.best_params_}")
print(f"最佳分数：{-grid_search.best_score_:.4f}")

八、常见问题解决方案

1. 过拟合问题：
   • 增加 gamma 值（0.1-0.3）
   • 减小 max_depth（3-6）
   • 增加 min_child_weight（3-10）
   • 添加正则化参数 lambda 或 alpha
2. 训练速度慢：
   • 降低 max_depth
   • 减小 subsample 和 colsample_bytree
   • 使用 gpu_hist 树方法
3. 类别不平衡：
   • 设置 scale_pos_weight 参数
   • 使用 balanced 子采样

九、总结与进阶学习

通过本教程，您已掌握：

• XGBoost 核心原理
• 参数配置方法
• 分类与回归实战
• 模型调优技巧

进阶学习方向：

1. GPU 加速：使用 tree_method='gpu_hist' 参数
2. 自定义目标函数：实现特定场景的损失函数
3. 分布式训练：处理超大规模数据集
4. 特征交互约束：控制特征交互方式