机器学习

那么如何来完成这种近似呢？或者说如何完成这种回退式的修正呢？高阶多项式解决就是经过线性转换到新的域中，再利用线性回归来解决问题，得到w 再观察H2和H10的表达式我们可以发现，可以把它们看成是一样的，只不过H2表达式的w3=w4=…=w10=0，即为了防止过拟合的出现，我们将高阶...

上一讲学习了如何利用线性转换将非线性的问题转换成为另一个域中的线性问题进行求解。但是这样做会导致模型的复杂度上升，带来的一个很直接的结果就是可能会出现过拟合现象 这一讲学习过拟合是如何出现的以及如何处理过拟合问题 经过其他课程的学习，对于过拟合的相关内容已经有了一定的了解，再通过...

在前面学习的算法基本上都是用于线性分类或是线性回归，所用的数据集基本上也是线性可分的。但是在实际中这种理想的情况是大概率不存在的，也就是说我们的问题是线性不可分问题，这时应该怎么处理呢？这就是下面学习的内容 举例来说，如下所示：如果数据集是线性可分的，意味着我们可以找到一条线较好...

这一讲从四个小部分将前面学习的模型结合起来，看看它们是如何来解决常见的分类问题。先对之前学习的几个模型做一个回顾。相同处在于都使用了有关输入的加权和的形式，来得到一个分数s.在线性分类中，我们使用的误差衡量是0/1error，最后通过sign（x）函数给出分类的结果，但是要想得到...

上一讲学习了Linear Regression。首先，我们从问题出发，想要找到一条直线拟合实际数据值；然后，我们利用最小二乘法，用解析形式推导了权重w的解；接着，用图形的形式得到Eout-Ein≈2(N+1)/N，证明了linear regression是可以进行机器学习的；最后...

前面主要学习了有关机器学习的基础知识，如VC维、误差衡量等，上一讲知道即使是在含有噪声的数据中，我们的学习也是可行的。之前的信用卡的例子中国，用户提交了一系列的数据后，如何根据用户数据给出具体的透支的额度呢？用分类的方法显然不能很好的解决这个问题，回归算法就是一个很好的选择。wi...

上一讲学习了VC维的相关知识，我们知道如果我们有一个dvc，数据足够的多，并且可以得到足够小的Ein，那么就认为学习是可行的。在数据中有噪声后，我们的学习流程图如下 那么噪声是怎么存在的呢？例如在之前的二分类问题中，总会有某些点无法分类正确，那么它们就是数据中存在的噪声。 再比如...

在上一讲，我们主要是做了一件事，即证明只要是存在breaking point的，那么它的成长函数mH(N)的上界B(N,K)就是N的K-1阶多项式，故得mH(N)的上界就是N的K-1阶多项式，即学习是可行的。在前面学习的基础上我们来学习关于VC维的东西。在前几讲中，我们将机器学习...

接着上一讲学到的有关成长函数和breaking point的内容，最后留下一个猜测：2D perceptron的成长函数是不是多项式级别的呢？这一讲继续学习泛化的理论知识，进而回答这个问题。 上面我们对于不同的情况进行分析，给出了它们的mH(N)（给出了划分的最大的dichoto...

为了更好的理解感知机模型，首先举一个例子：当我们去银行申请信用卡的时候，通常需要填写一些相关的信息，然后银行审查后会决定是否发放。∑i=1d​wi​xi​，判断结果和我们设置的阈值的大小关系。如果大于阈值，发放，否则不予发放。我们也可以使用sign(x)来将结果二值化，+1表示可...

在前面的学习中提到一个有关信用卡发放的例子，我们根据一些相关的数据来绝对是否对某一用户发放信用卡，那么得到的结果就是NO（-1）和YES（+1）。这就是机器学习最基础的一种问题：二分类问题。即根据输入的数据进行判断，最后给出两个类型的结果，非此即彼。二分类问题在我们的生活中是很普...

之前看过课程的一部分，后面就去看吴恩达的机器学习课了，又因为琐事忘记了完成这门课的学习，趁着放假想着在过年前把这两门课学习完，同时做一个总结，算是对本学期学习的一个收官吧。机器学习是一门包含多学科、多领域的理论知识的一个方向，同样也有很多的实践的工具可供选择。所以我们选择的学习导...

首先给出一个学习的小问题，我们也可以在很多情况看到这种类似的益智问题。y的值为-1，而下面三种情况给出的y的值为+1。其实我们说结果是-1对，说是+1也对，因为我们总可以找出一种对应规则来满足我们的结果。这时我们就可以说这个问题是不能学习的了，因为没有一种固定的规则，就无法得到一...

在前面的一讲中讨论了Feasibility of Learning，即什么时候机器学习是可行的。我们认为机器学习是一种概率可行的问题，如果我们有足够多的统计数据以及有限个假设，我们总认为可以找到一个满足现有数据的最好的假设，这样我们就认为机器学习是可行的。下面主要学习了Why c...

课程连接：Machine Learning Foundations and Machine Learning Techniques 包含了课程的讲义和视频。其他的相关资料可见 https://blog.csdn.

如果我们训练出的模型只在训练集上表现极好，但在未知的数据上效果很差，说明出现了过拟合，为了避免这种现象的出现，我们需要验证集来评估我们的模型。当我们在训练集上训练好一个模型后，现在验证集上对模型进行，如果验证集上的效果比较好时，再到测试集上就行最后的评估。但是单纯的将数据集分为三...

1. 朴素贝叶斯方法是一组监督学习算法，基于贝叶斯定理应用给定类变量值的每对特征之间的条件独立性的“朴素”假设。贝叶斯定理在给定类变量的情况下表明了以下关系 y 和依赖特征向量 X1 通过 Xn： 使用朴素的条件独立假设 对全部的 i，这种关系简化为 若P（X1，…，Xn） 给定...

Decision Trees (DTs) 是一种用来 classification 和 regression 的无参监督学习方法。其目的是创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。例如，决策树通过if-then-else的决策规则来学习数据从而估测数一个正...

1. （1）k值的选取。（2）距离度量。（Lp距离：误差绝对值p次方求和再求p次根。欧式距离：p=2的Lp距离。曼哈顿距离：p=1的Lp距离。（3）分类决策规则。（也就是如何根据k个最近邻决定待测对象的分类。2. 当我们的数据量很小的时候，我们可以使用线性扫描，计算输入实例和每一...

1. # https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html#sklearn.linear_model.LogisticRegression....