香橙云子

朴素贝叶斯分类器，实际上也是对人们常识做的一个算法的完善。其以一种更为精准的量化来判断分类，使用的方法是后验概率。本文从与决策树的比较出发，介绍先验概率和后验概率的关系，再详细介绍一下朴素贝叶斯算法的流程。 朴素贝叶斯算法比较简单，所以此文多是留以面试前复习之用。理清各个问题之…

在年初的IJCAI 阿里妈妈广告搜索转化率预估赛上，我接触了CTR问题。CTR即(click-through-rate)点击通过率，指的是投放广告实际被点击次数与广告实际显示量的比例。是衡量广告投放出去效果的重要指标。 此比赛的冠军所用的迁移学习的思想，让我眼前一亮。我在DF,…

更快的训练速度和更高的效率：LightGBM使用基于直方图的算法。例如，它将连续的特征值分桶(buckets)装进离散的箱子(bins)，这是的训练过程中变得更快。还有一点是LightGBM的分裂节点的方式与XGBoost不一样。LGB避免了对整层节点分裂法，而采用了对增益最大…

数据比赛，GBM(Gredient Boosting Machine)少不了，我们最常见的就是XGBoost和LightGBM。 模型是在数据比赛中尤为重要的，但是实际上，在比赛的过程中，大部分朋友在模型上花的时间却是相对较少的，大家都倾向于将宝贵的时间留在特征提取与模型融合这…

LightGBM，XGBoost作为非常经典的GBDT模型，网上原理和实战代码都一大堆。但是看了几个公式，写了几行代码。是不是总觉得心里空空的。直到有一次被面试官问道。给你一堆数据，让你用GBDT模型去处理。这些数据在模型内部是如何运行的呢，最终答案如何得到的呢？虽然现场可以结…

非线性支持向量机是最能够实用的支持向量机模型。核函数的使用是此模型的一大亮点。但是我在学习的过程中，发现很多网上的教程对有些概念没有强调说明，致使初学者包括当时的我容易混淆概念或者是不理解公式所云。我想一步步给大家展示一下核函数的详细内容。 本节算是支持向量机理论中比较高阶的了…

支持向量机的进阶部分，之前我是做过最基本的推导的。想看的朋友戳这里《线性可分支持向量机》。 上一篇我推导了一遍支持向量机的基本内容。包括支持向量机为什么提出，如何提出，还有为什么叫这个名字等方面，也包括支持向量机的完整数学推导。但是我们会发现一个问题，就是我们所有的推导都是建立…

支持向量机是现有机器学习算法中为数不多的具有完备数学证明推导的算法之一。其主要思想简洁实用，所以应用广泛。我觉得想要更深入了解一个算法，得先了解其命名。因为在这过程中，我们需要了解这算法为解决什么问题而诞生，并且如何一步步改进成现有的样子。本篇文章我查阅了很多资料，听了国内外众…

这得需要一点拉格朗日乘子法的认识。大家可能都很熟悉这个著名的方法。但是还是有很多入门的朋友忘记了具体过程的，所以还是希望大家看一下这个来系统的认识一下此方法《拉格朗日乘子法》 建议战斗人员多啃几遍，最好可以做到自己可以手推公式。 这与原始问题的解是等价的。因为最小化将给去掉了。…