8.提升方法 海盐味橘色汽水 2019-10-07 279 阅读1分钟 AdaBoost提高前一轮弱分类器错误分类样本的权值使用加权多数表决，加大分类器误差率小的弱分类器的权值，使其在表决中起较大的作用一般AdaBoost的变形是改变策略（即损失函数）例子前向分布算法AdaBoost是前向分布加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数提升树和GBDT提升树分类：二叉分类树（指数损失函数）；回归：二叉回归树（平方损失函数）。采用前向分布算法。分类回归树，相当于基本分类器（基函数）为决策树的AdaBoost算法。提升树算法即残差与平方误差损失的等价证明例子GBDT将最速下降作为残差的近似方法GBDT算法及最速下降可作为残差近似的证明计算出Rmj，Cmj需要代回去计算。由于示性函数，只需计算M项Cmj。
