Bagging vs Boosting
-
共同点：bagging和boosting都是由很多个弱的模型 (weak learners/ base learners) 构成的
-
区别：
Bagging是中弱的模型是由于overfitting，过拟合
Boosting中弱的模型是由于underfitting，欠拟合
举个不是很恰当的例子，Bagging是集合了一群专家，Boosting是集合了一群小学生
提升树——基于残差的训练
基于model1训练结果的残差，再训练一个model2
XGBoost的优点
- 算法可以并行，训练效率高
- 比起其他的算法，实际效果好
- 由于可控参数多，可以灵活调整
