前言 安装 参数详情 xgboost原生用法 <1>分类 <2>回归 <3>交叉验证 <4>自定义目标函数和损失函数 xgboost的sklearn库接口

前言 在机器学习中有2类特征：连续型特征和离散类别型特征 注意：离散特征就是类别特征 连续型特征 离散类别型特征

最基本的差距就在于XGBoost比GBDT多了两项泰勒展开式。具体这个泰勒展开式是怎么得到的，是对于什么展开的呢？我们看： 其中F为所有树组成的函数空间（这里的回归树也就是一个分段函数，不同分段的不同取值就构成了一颗树），与一般机器学习算法不同的是，加法模型不是学习d维空间的权…

1. 什么是XGBoost XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。 说到XGBoost，不得不提GBDT(Gradient Boost…

本篇博客作为前两篇XGBoost的原理与分析的续作三，主要记录的是使用XGBoost对kaggle中的初级赛题Titanic: Machine Learning from Disaster进行预测的实例，以此来加深自己对XGBoost库的使用。

xgboost 已然火爆机器学习圈，相信不少朋友都使用过。要想彻底掌握xgboost，就必须搞懂其内部的模型原理。这样才能将各个参数对应到模型内部，进而理解参数的含义，根据需要进行调参。本文的目的就是让大家尽可能轻松地理解其内部原理。主要参考文献是陈天奇的这篇文章introdu…

xgboost 已然火爆机器学习圈，相信不少朋友都使用过。要想彻底掌握xgboost，就必须搞懂其内部的模型原理。这样才能将各个参数对应到模型内部，进而理解参数的含义，根据需要进行调参。本文的目的就是让大家尽可能轻松地理解其内部原理。