开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第十八天，点击查看活动详情
总结：此文为12月更文计划第十七天第三十三篇。
梯度提升和梯度下降的区别和联系是什么？
表 1 是梯度提升算法和梯度下降算法的对比情况。可以发现，两者都是在每 一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更 新，只不过在梯度下降中，模型是以参数化形式表示，从而模型的更新等价于参 数的更新。而在梯度提升中，模型并不需要进行参数化表示，而是直接定义在函 数空间中，从而大大扩展了可以使用的模型种类。
GBDT 的优点和局限性有哪些？
■ 优点 （ 1）预测阶段的计算速度快，树与树之间可并行化计算。（是前一个有结果可以给下一个） （ 2）在分布稠密的数据集上，泛化能力和表达能力都很好，这使得 GBDT 在 Kaggle 的众多竞赛中，经常名列榜首。 （ 3）采用决策树作为弱分类器使得 GBDT 模型具有较好的解释性和鲁棒性，
能够自动发现特征间的高阶关系，并且也不需要对数据进行特殊的预处理如归一 化等。
■ 局限性
（ 1）GBDT 在高维稀疏的数据集上，表现不如支持向量机
向量机可以看这个 B 站博主的分享)
（ 2GBDT 在处理文本分类特征问题上，相对其他模型的优势不如它在处理 数值特征时明显。
（ 3）训练过程需要串行训练，只能在决策树内部采用一些局部并行的手段提 高训练速度。
XGBoost 与 GBDT 的联系和区别
XGBoost 是陈天奇等人开发的一个开源机器学习项目，高效地实现了 GBDT 算 法并进行了法和工程上的许多改进，被广泛应用在 Kaggle 竞赛及其他许多机器 学习竞赛中并取得了不错的成绩。我们在使用 XGBoost 平台的时候，也需要熟悉 XGBoost 平台的内部实现和原理，这样才能够更好地进行模型调参并针对特定业务 场景进行模型改进。
