TL;DR
- 场景：结构化表格数据的分类与回归问题，需要捕捉特征间复杂非线性关系
- 结论：GBDT通过梯度下降逐步拟合残差，将多棵弱决策树累加为强学习器，是Kaggle等竞赛的常胜方案
- 产出：掌握GBDT核心思想、XGBoost/LightGBM/CatBoost实现差异，能快速选择合适框架
版本矩阵
| 框架 | 版本 | 发布时间 | 核心特性 |
|---|---|---|---|
| XGBoost | 2.0+ | 2023 | 二阶近似、稀疏感知、Block直方图、L1/L2正则 |
| LightGBM | 4.0+ | 2023 | GOSS行采样、EFB特征捆绑、叶子优先生长 |
| CatBoost | 5.0+ | 2024 | 有序目标编码、对称树、文本特征支持 |
Gradient Boosting
梯度提升树（Gradient Boosting）是提升树（Boosting Tree）的一种改进算法，所以在讲梯度提升树之前先来说一下提升树。
先来例子理解：假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。
如果我们迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小，最后将每次拟合的岁数加起来便是模型输出的结果
提升树算法：
初始化 f0（x）= 0
对 m = 1,2...M，计算残差 rmi = yi - fm - 1(x) , i = 1,2...N
拟合残差 rmi 学习一个回归树，得到 hm(x)
更新 fx(m) = fm - 1 + hm(x)
得到回归问题提升树：
上面伪代码中的残差是什么？
在提升树算法中：
假设前一轮迭代得到的强学习器是：ft-1(x)
损失函数是：L(y, ft-1(x))
本轮迭代的目标是找到一个弱学习器：ht(x)
最小化本轮的损失：L(y, ft(x)) = L(y, ft- 1(x) + ht(x))
当采用平方损失函数时：
这里，r = y - ft -1(x) 是当前模型拟合数据的残差（residual）
所以，对于提升树来说只需要简单你和当前模型的残差
当损失函数是平方损失和指数损失函数时，梯度提升树每一步优化都是很简单的，但是对于一般损失函数而言，往往每一步优化起来都不那么容易。
针对这一问题，Friedman 提出了梯度提升树算法，这是利用最速下降的近似方法，其关键是利用损失函数的负梯度作为提升算法树中的残差的近似值。
那么负梯度长什么样子呢？
第t轮的第i个样本的损失函数的负梯度为：
此时不同的损失函数将会得到不同的负梯度，如果选择平方损失：
负梯度为：
此时我们发现 GBDT 的负梯度就是残差，所以说对于回归问题，我们要拟合的就是残差。那么对于分类问题呢？二分类和多分类的损失函数都是 logloss
GBDT算法原理
将 Decision Tree 和 Gradient Boosting 这两部分组合在一起就是 GBDT 了。
GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是一类 逐步加法模型＋梯度下降优化 的集成学习算法。
- Boosting：按序列方式训练多个弱学习器（一般是浅决策树），后一个模型专门弥补前面模型的错误。
- Gradient：把"如何修正错误"形式化为在损失函数上的梯度下降；每一步都在函数空间中向负梯度方向迈出一小步。
- Decision Tree：最常用的弱学习器是 CART 回归树（可处理回归或分类，经适当编码）。
初始化弱学习器
**对 m = 1,2...M **
对于每个样本 i =1,2...N 计算负梯度（即残差）
将上步得到的残差作为样本新的真实值，并将数据 (xi, rim), i = 1,2...N 作为下颗树的训练数据，得到一个新的回归树 fm(x) 其对应的叶子节点区域为 Rjm, j = 1,2...J。
其中J为回归树t的叶子节点的个数。
对叶子区域 j = 1,2...J 计算最佳拟合值
更新强学习器
得到最终学习器
为什么效果好
- 任意可导损失：统一框架下同时处理回归、二分类、多分类、排名、异常检测（自定义损失）。
- 高阶非线性：树天然捕获特征交互，无需显式交叉特征工程。
- 抗尺度：对不同量级特征无需标准化。
- 可解释：基于树的内部结构可做特征重要度、SHAP 解释。
常见高效实现
- XGBoost：二阶近似、稀疏感知、Block 近似直方图，加 L1/L2 正则。
- LightGBM：GOSS 行采样＋EFB 特征并列，叶子优先生长，高速+低耗内存。
- CatBoost：针对类别特征的有序目标编码，内置对称树，支持文本特征。
它们都在经典 GBDT 框架上做了大量工程与算法加速，但核心思想（负梯度＋浅树叠加）不变。
何时使用 / 何时不用
- 适用：结构化表格数据、特征之间存在复杂非线性关系、不想做大量特征工程。
- 不适：高维稀疏文本、图像、语音等深度学习占优场景；数据量极大但特征简单时线性模型更高速。
这里可以放一小段代码：
from xgboost import XGBClassifier
model = XGBClassifier(
n_estimators=300,
max_depth=6,
learning_rate=0.05,
subsample=0.8,
colsample_bytree=0.8,
objective='binary:logistic',
eval_metric='auc'
)
model.fit(X_train, y_train,
eval_set=[(X_val, y_val)],
early_stopping_rounds=50)
错误速查卡
| 症状 | 根因 | 定位 | 修复 |
|---|---|---|---|
| 训练集表现好，验证集差 | 过拟合，学习器迭代轮数过多 | 查看 eval_metric 曲线，确认 early_stopping_rounds 是否生效 | 降低 n_estimators，增大学习率，添加正则项 |
| 预测全是同一个值 | 学习率过小或迭代轮数不足 | 检查特征重要性，确认树深 | 增大学习率或迭代轮数 |
| 类别特征效果差 | 未正确处理类别特征 | XGBoost需独热编码，CatBoost原生支持 | 使用CatBoost或手动独热编码 |
| 内存溢出 | 数据量过大，特征维度高 | 监控内存使用，观察数据稀疏程度 | 使用LightGBM的GOSS采样或减少特征 |
| 收敛慢 | 学习率过低或损失函数不平滑 | 观察损失曲线下降速度 | 增大学习率或换用更平滑的损失函数 |
