香橙云子

网上很多博客论坛将KKT条件与不等式优化的乘子法混淆了，并且有很多对于这个概念混沌的地方。我就写一篇梳理一遍思路。 已知一个问题的目标与参数的关系是,那么我们很容易知道当时，最优的目标.但是如果我们给这个优化过程添加一条约束:,也就是必须满足这一约束的情况下，求解原函数的最小值…

在已知约束的情况下，我们建模时应该满足这些约束，并且对其他条件作最复杂最一般的假设。这样会得出更贴近于真实的结果。一般来说，这种假设就是最大熵原理。因为熵最大信息量最大，不确定性最大。 最大熵原理认为，学习概率模型时，在所有可能的概率分布模型中，熵最大的模型，为最好的模型。 将…

岭回归，是线性回归的L2正则化方式。本质上是一种回归。 给定数据集D = {(x1,y1),(x2,y2),...,(xm,ym)},其中xϵR^d dimension，yϵR。我们考虑最简单的线性回归模型,以平方误差为损失函数： 对于正则化不太了解的朋友可以看我这一篇文章《L…

这是一个真实的比赛。赛题来源是天池大数据的 "商场中精确定位用户所在店铺"。原数据有114万条，计算起来非常困难。为了让初学者有一个更好的学习体验，也更加基础，我将数据集缩小了之后放在这里，密码：ndfd。供大家下载。 这个题目的意思是，我们在商场中，由于不同层数和GPS精度限…

这篇不是原创！想写一点发现也不比他的好，知乎专栏，@莫烦PYTHON。 这位大神还发布了视频来帮助解释。 尊重原创，我没有改动一个字。。。 我们知道, 过拟合就是所谓的模型对可见的数据过度自信, 非常完美的拟合上了这些数据, 如果具备过拟合的能力, 那么这个方程就可能是一个比较…

AUC值 Area Under Curve score (曲线下面积值)，也就是ROC曲线之下与坐标轴围成的面积。 这两个指标一般作为衡量二分类器的度量，为什么要有这个测试指标，源自于一种二分类器的思考。如果我们有一件事情的为1的概率为99%，0的概率为1%，则如果我们不经过处…

我们在机器学习中一直会遇到两种问题，一种是回归问题，一种是分类问题。我们从字面上理解，很容易知道分类问题其实是将我们现有的数据分成若干类，然后对于新的数据，我们根据所分得类而进行划分；而回归问题是将现有数据拟合成一条函数，根据所拟合的函数来预测新的数据。 这两者的区别就在于输出…

我将CART独立于其他经典决策树算法的原因是CART相对来说较为复杂。因为它不仅仅可以作为分类树，还可以作为回归树。 对于对于CART分类树，这就和我们之前所说的《经典决策树算法》中的ID3与C4.5非常类似,但是与他们不同的是，我们在CART中并不采用信息增益或者是信息增益比…

GBDT相对于经典的决策树，算是一种比较成熟而且可以实际应用的决策树算法了。我们想要理解GBDT这种决策树，得先从感性上理解这棵树的工作方式。 首先我们要了解到，DBDT是一种回归树(Regression Decision tree)。回归树与分类树的差距请看我的文章《经典的回…