深入理解梯度提升决策树 (GBDT) 原理与实现

5. 迭代

步骤 2 到 4 会根据指定的迭代次数重复。每一轮新树都处理更新后的残差，进一步优化模型并减少误差。

梯度提升的核心思想在于'加法更新'：不直接训练一棵复杂的大树，而是拆解成多个弱模型逐步构建。第一棵树给出粗略预测，第二棵树纠正误差，第三棵树修正剩余不足……每一步基于误差的梯度方向优化，最终形成一个强大的预测模型。

6. 最终模型

最终模型将初始预测与所有树的贡献相加。经过多轮迭代，模型预测值就成为了根据年龄估计心率的最佳结果。

主流变种对比

在 GBDT 基础上，业界发展出了三个主要优化版本，分别解决了不同场景下的核心问题。

XGBoost 追求算法性能的全面优化，LightGBM 专注训练效率，CatBoost 则擅长处理高基数类别特征。实际应用中，XGBoost 通常是首选；大数据集可考虑 LightGBM；大量类别特征时 CatBoost 更有优势。

代码实战

下面我们用 scikit-learn 快速实现一个梯度提升回归模型。

导入库

from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import pandas as pd

准备数据

创建一个简单的 DataFrame，包含 Age（特征）和 HeartRate（目标变量），并拆分为训练集和测试集。

data = {"Age": [25, 35, 45, 55, 65], "HeartRate": [72, 75, 78, 80, 82]}
df = pd.DataFrame(data)

X = df[['Age']]
y = df['HeartRate']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

实例化模型

初始化 GradientBoostingRegressor，设置迭代次数、学习率和树的最大深度。

gb_model = GradientBoostingRegressor(n_estimators=100, learning_rate=0.01, max_depth=10, random_state=42)

训练与评估

拟合模型并对测试集进行预测评估。

gb_model.fit(X_train, y_train)
y_pred = gb_model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")

输出结果示例：

Mean Squared Error: 0.6461040090503394

总结

梯度提升是一种灵活且强大的机器学习技术。算法每一轮都会计算当前模型预测值相对于真实值的梯度，然后训练一棵新决策树去拟合这个梯度，最后将新树加入集合。这就像在山坡寻找最低点时，每次都用一棵树来决定朝哪个方向走多远。无论是回归还是分类任务，掌握 GBDT 及其变种都能极大增强你的机器学习能力。