夜空中最亮的不咚

逻辑回归模型预估的是样本属于某个分类的概率，其损失函数(Cost Function)可以像线型回归那样，以均方差来表示；也可以用对数、概率等方法。损失函数本质上是衡量”模型预估值“到“实际值”的距离，选取好的“距离”单位，可以让模型更加准确。 1. 均方差距离 用均方差作为损失…

机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0, 则每个样本包含n+1维特征： 分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预…

由于二分类结果是1或者0，这与数学的阶跃函数很类似，但是阶跃函数在x=0的位置会发生突变，这个突变在数学上很难处理。所以一般使用sigmoid函数来拟合： 其中xi表示样本属性（对于我们而言，就是标签IP）的值， ωi表示这个属性对应的系数（也就是算法需要计算的内容）。注意这里…

今天我们会来聊聊机器学习所需要的数据,为了让机器学习方面消化, 我们需不需要对数据动些手脚呢. 所以今天就会提到特征数据的标准化, 也可以说正常化, 归一化, 正规化等等. 注: 本文不会涉及数学推导. 大家可以在很多其他地方找到优秀的数学推导文章. 我们的数据是什么样的. 它…

各位小伙伴们大家好，今天让我们来聊一聊机器学习中的所需要的数据这个话题，首先，我们先开始想一个问题，为了让机器学习更加的方便消化，我们需不需要对一些数据动一些手脚呢？所以，围绕这个问题，我们今天就来讲一讲特征数值的标准化。 也可以说是正常化，规律化正轨化等等。话不多说，让我们马…

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验…

传统的机器学习的监督学习分类分类和回归，分类是争对离散的数据，而回归是争对连续的数据，在数据预处理好的基础上要对数据进行预测，通常采用CV交叉验证来进行模型评价和选择。这篇文章通过连续的数据结合sklearn库对各种回归器做一比较： 缺点：顾名思义，linear regress…

机器学习 (Machine Learning) 是近 20 多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。简而言之，机器学习是通过学习老知识（训练样本），得出自己的认知（模型），去预测未知的结果。 从给定的训练数据集中学习出一个函数…

然而，事实上虽然花了大量时间完成上述工作，效果不一定好(以上一篇Titanic为例，事实证明，三天的优化，识别率下降了。。。。)。再思考一下，识别率低的原因是什么？——欠拟合或者过拟合。因此，解决欠拟合和过拟合的方法就是提高识别率的方法。 过拟合状态下，训练集误差极低，测试集误…