夜空中最亮的不咚

在这篇文章中，我会详细地介绍Bagging、随机森林和AdaBoost算法的实现，并比较它们之间的优缺点，并用scikit-learn分别实现了这3种算法来拟合Wine数据集。全篇文章伴随着实例，由浅入深，看过这篇文章以后，相信大家一定对ensemble的这些方法有了很清晰地了…

教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。 假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。 堵车的概率就是先验概率 。 那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 …

对于统计学只是皮毛认识，在学校时根本不重视，如今机器学习几乎以统计学为基础发展起来的，头疼的紧，如今还得琢磨基础概念。 先验概率可理解为统计概率，后验概率可理解为条件概率。 设定背景：酒至半酣,忽阴云漠漠,骤雨将至。 先验概率，就是常识、经验所透露出的“因”的概率，即瓜熟的概率…

多少信息用信息量来衡量，我们接受到的信息量跟具体发生的事件有关。 信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大，如湖南产生的地震了；越大概率的事情发生了产生的信息量越小，如太阳从东边升起来了（肯定发生嘛，没什么信息量）。这很好理解！ 师兄走过来跟我说，立…

换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 可能有小伙伴就要说了，还是有点抽象呀。我们这样想，一当模型满足某个分布，它的参数值我通过极大似然估计法求出来的话。比如正态分布中公式如下： 如果我通过极大似然估计，得到模型中参数和的…

很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阈值进行比较，若大于阈值分为正类，否则为反类，因此分类过程可以看作选取一个截断点。 不同任务中，可以选择不同截断点，若更注重”查准率”，应选择排序中靠前位置进行截断，反之若注重”查全率”，则选择靠后位置截断…

在互联网广告中，评价一个model的好坏是非常重要的。 至于怎么评价，倒是有多种办法，如准确度，ABtest效果等。其中也产生了一些评价指标，其中最常用的莫过于AUC了。AUC有一个很好的物理意义——AUC表示拿一个正样本和一个负样本组成一对，模型把这一对都区分正确（正样本的预…

混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，这里用一个经典图来解释混淆矩阵是什么。 对照着混淆矩阵，很容易就能把关系、概念理清楚，但是久而久之，也很容易忘记概念。不妨我们按照位置前后分为两部分记忆，前面的部分是True／Fa…

本回答将以机器学习领域的"Hello World"数据集——MNIST为背景，来梳理一下关于分类问题模型评估的知识。分类问题有很多种，比如二分类（Binary Classification）、多类别分类（Multiclass Classification）、多类别分类（Mult…