机器学习

菜菜sklearn课程 标题 网址 简介 决策树总结 - DecisionTreeClassifier(一) https://juejin.cn/post/7085552825316409352 决策

分类案例：XGB中的样本不均衡问题 在之前的学习中，我们一直以回归作为演示的例子，这是由于回归是XGB的常用领域的缘故。然而作为机器学习中的大头，分类算法也是不可忽视的，XGB作为分类的例子自然也是非

XGBoost应用中的其他问题 过拟合：剪枝参数与回归模型调参 作为天生过拟合的模型，XGBoost应用的核心之一就是减轻过拟合带来的影响。作为树模型，减轻过拟合的方式主要是靠对决策树剪枝来降低模型的

让树停止生长：gamma 在之前所有的推导过程中，我们都没有提到$\gamma$这个变量。从目标函数和结构分数之差$Gain$的式子中来看， $\gamma$是我们每增加一片叶子就会被剪去的惩罚项。增

求解XGB的目标函数 有了如下目标函数，我们来看看如何求解它。时刻记得我们求解目标函数的目的：为了求得在第t次迭代中最优的树$f_t$。在逻辑回归和支持向量机中，我们通常先将目标函数转化成一种容易求解

XGBoost的智慧 选择弱评估器：booster 梯度提升算法中不只有梯度提升树，XGB作为梯度提升算法的进化，自然也不只有树模型一种弱评估器。在XGB中，除了树模型，我们还可以选用线性模型，比如线

梯度提升树 提升集成算法：重要参数n_estimators XGBoost的基础是梯度提升算法，因此我们必须先从了解梯度提升算法开始。梯度提升（Gradient boosting）是构建预测模型的最强

概述 XGBoost全称是eXtreme Gradient Boosting，可译为极限梯度提升算法。它由陈天奇所设计，致力于让提升树突破自身的计算极限，以实现运算快速，性能优秀的工程目标。和传统的梯

案例：贝叶斯分类器做文本分类 文本分类是现代机器学习应用中的一大模块，更是自然语言处理的基础之一。我们可以通过将文字数据处理成数字数据，然后使用贝叶斯来帮助我们判断一段话，或者一篇文章中的主题分类，感

多项式朴素贝叶斯以及其变化 多项式朴素贝叶斯MultinomialNB 多项式贝叶斯可能是除了高斯之外，最为人所知的贝叶斯算法了。它也是基于原始的贝叶斯理论，但假设概率分布是服从一个简单多项式分布。多

概率类模型的评估指标 混淆矩阵和精确性可以帮助我们了解贝叶斯的分类结果。然而，我们选择贝叶斯进行分类，大多数时候都不是为了单单追求效果，而是希望看到预测的相关概率。这种概率给出预测的可信度，所以对于概

sklearn中的朴素贝叶斯 Sklearn基于这些分布以及这些分布上的概率估计的改进，为我们提供了四个朴素贝叶斯的分类器 类 含义 naive_bayes.BernoulliNB 伯努利分布下的朴素

概述 真正的概率分类器 在许多分类算法应用中，特征和标签之间的关系并非是决定性的。比如说，我们想预测一个人究竟是否会在泰坦尼克号海难中生存下来，那我们可以建一棵决策树来学习我们的训练集。在训练中，其中

多项式回归PolynomialFeatures 多项式对数据做了什么 除了分箱之外，另一种更普遍的用于解决”线性回归只能处理线性数据“问题的手段，就是使用多项式回归对线性回归进行改进。这样的手法是机器

非线性问题：多项式回归 重塑我们心中的“线性”概念 在机器学习和统计学中，甚至在我们之前的课程中，我们无数次提到”线性“这个名词。首先我们算法就叫做”线性回归“，而在支持向量机中，我们也曾经提到最初的

Lasso Lasso与多重共线性 除了岭回归之外，最常被人们提到还有模型Lasso。Lasso全称最小绝对收缩和选择算子（least absolute shrinkage and selection

岭回归 岭回归解决多重共线性问题 在线性模型之中，除了线性回归之外，最知名的就是岭回归与Lasso了。这两个算法非常神秘，他们的原理和应用都不像其他算法那样高调，学习资料也很少。这可能是因为这两个算法

多重共线性 在第二节中我们曾推导了多元线性回归使用最小二乘法的求解原理，我们对多元线性回归的损失函数求导，并得出求解系数的式子和过程： 在最后一步中我们需要左乘$X^TX$的逆矩阵，而逆矩阵存在的充分

回归类的模型评估指标 回归类算法的模型评估一直都是回归算法中的一个难点，但不像我们曾经讲过的无监督学习算法中的轮廓系数等等评估指标，回归类与分类型算法的模型评估其实是相似的法则——找真实标签和预测值的

多元线性回归LinearRegression 多元线性回归的基本原理 线性回归是机器学习中最简单的回归算法，多元线性回归指的就是一个样本有多个特征的线性回归问题。对于一个有n个特征的样本而言，它的回归