xgboost

xgboost 是指extreme gradient boosting。boosting的思想就是指利用一系列弱模型达到较强的效果。具体到xgboost算法，每个弱模型是一个决策树，然后依次生成，第一个拟合完，第二个去拟合第一个的误差，直至生成指定数量的树。

考虑一个预测问题，样本数量为$N$，特征为$x_i$, 标签为$y_i$，前$t$个决策树的预测值为$\hat{y}^{(t)}_i=\sum_{k=1}^t f_k(x_i)$，其中$f_k(x_i)$表示第$k$个树的输出。

接下来设计损失函数，这里我们假设前$t-1$个树已经确定了，现在来设计第$t$个。这个损失函数并不是只有一个预测误差，也包含了对模型复杂程度的惩罚，具体如下

对第一项，$\sum_{i=1}^N L(y_i,\hat{y}_i)=\sum_{i=1}^N L(y_i,\hat{y}^{t-1}_i+f_k(x_i))$利用taylor展开近似一下，即把新增的$f_k(x_i)$看作$\Delta x$，把前面确定的$\hat{y}^{t-1}_i$看作$x_0$那么展开两项之后有

其中$g_i=\frac{\partial L(y_i,y_i^{(t-1)})}{\partial y_i^{(t-1)}}$, $h_i=\frac{\partial^2 L(y_i,y_i^{(t-1)})}{(\partial y_i^{(t-1)})^2}$。
对于后面$\Omega(f_k)$我们采用叶节点数量（设为$T$）和叶节点输出大小综合考虑。我们设置为

这里简单说明一下决策树的结构，树复杂意味着选择用来决策分类的属性数量多，每多选择一个属性，因为这叶节点数量增加1个，最后分类完他会落在一个叶节点上，按理说这就结束了，但是如果是回归问题，并不满足于分类，因此叶节点会有一个参数$w_j$，决策树的输出就是决策完落在的叶节点对应的参数。

带入到前面，并且把前$t-1$个树固定的常数部分省略掉，我们可以得到

之后为了把两个求和项和在一起，把第一个按照叶子结点输出重排，得到

这里重排的意思就是把所有经过决策树落在叶子结点$j$的样本放在一起，因为落在节点$j$，所以$f_k(x)$的输出就是$w_j$，相应地，$G_j=\sum_{i\in I_j}g_i, H_j=\sum_{i\in I_j} h_i$，是落在节点$j$样本的梯度和。

对$L$求偏导数并令其等于0，求极值点

所以$w_j^{(k)}=-\frac{G_j}{H_j+\lambda}$，带入可以得到最小的loss为

以此为依据，我们按照增益可以知道如何构造树，对样本的每个属性，按照该属性值从小到大排序，然后依次遍历尝试找到最优的分裂点，这个点具有最大的增益

注意最后一个$\gamma$是由于Loss里的$\gamma T$导致的，多分裂之后，模型复杂度多了一个叶子结点，相应产生惩罚。$G_l,G_R$分别是分裂点左右两侧的样本梯度和。

这是精确方法，复杂度有点高，所以有一个近似方法是先对每个属性分成若干段，计算分位点，然后对每个属性，就按照分位点划分的段去计算Gain。