夜空中最亮的不咚

0. 基本绘画设置 (1). Figure和Subplot matplotlib的图像都位于Figure对象中，你可以用plt.figure创建一个新的Figure. (2). 调整subplot周围的间距 默认情况下，matplotlib会在subplot外围留下一定的边距，…

numpy数组中的轴不太容易理解，但是却非常重要。官方定义为：轴即维度（In Numpy dimensions are called axes.）。 数组arr有3条轴，编号分别为0、1、2，要直接看出来这三条轴分别对应什么方向有点困难。最好的办法就是先将三维数组降维成一个二维…

1. 简单描述SVM（线性可分SVM的求解） 2. 线性SVM 3. 非线性SVM 1. 简单描述SVM SVM是一个分类算法，通过寻找一个分离超平面，将正负样本分开，并且正负样本到超平面的间隔最大。分离超平面可以用y = wx + b来描述，样本到超平面的相对距离可以用函数间…

我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。 在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩…

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大…

动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学公式的时候还是显得不…

函数间隔可以表示分类预测的正确性及确信度，但选择分离超平面时，只有函数间隔还不够，因为只要成比例改变w和b，超平面并没有改变，但函数间隔却变了，因此需要对分离超平面的法向量加上某些约束，如规范化，||w||=1，使用间隔是确定的，这时函数间隔成为了几何间隔。 其中，||w||为…

支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。 本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果…

网上，书上有很多的关于SVM的资料，但是我觉得一些细节的地方并没有讲的太清楚，下面是我对SVM的整个数学原理的推导过程，其中逻辑的推导力求每一步都是有理有据。现在整理出来和大家讨论分享。 因为目前我的SVM的数学原理还没有过多的学习核函数，所以下面的整理都不涉及到核函数。而且因…