SuperFeng67602

在无监督学习中，我们会把没有标签的数据集交给算法，让它自动地发现数据之间的关系，聚类算法（Clustering algorithm）就是一种无监督学习算法。它会自动地将无标签的数据集进行分类，如下图： 它会将这个数据集划分成两类，每一个绿圈就是一类。 在聚类算法中，最常见的就是…

现在还有两个系数没有选择，C 和 σ^2 。C 相当于 1/λ，之前我们学过，λ 的变化会影响高偏差或高方差。因此按照 1/λ 对高偏差或高方差的影响表现选取即可。 现在我们用数据实际观察一下 C 对 SVM 的影响。当 C 很小时，对于下列数据的决策边界如下： 特征 f 变化…

但是有一个问题出现了，我们不能确定构造的假设函数就是最符合这个例子的高阶多项式，可能还有其他的高阶多项式能够更好地符合这个例子。 现在问题就转化成如何选择特征 f？我们可以通过核函数（Kernels）改造支持向量机让它来学习复杂的非线性假设函数。 这里的 similarity(…

身为一名程序员，或多或少都会了解一点 C 语言，我现在还清楚地记得，大一刚接触 C 语言时被它所支配的恐惧。C 语言无比强大，被称为「高级汇编语言」足以见得它的威力，也可以看出它经常与计算机底层打交道；它的指针部分更为精彩（也是最难的部分），那么我们就跳过它最难的部分，检查一下…

支持向量机（Support vector machine）是一种强大的机器学习算法，和神经网络相比，它在学习复杂的非线性方程时，能够提供更清晰和更加强大的方式。为了学习支持向量机，我们可以先从逻辑回归开始，看看如何经过小小的改动能得到支持向量机。 只需要将这个函数最小化即可得到…

举个例子，我们想训练一个模型去诊断患者是否患有癌症。在人群中，患有癌症是一个极小概率发生的事情，比如 1000 个人中患有癌症的只有 5 人。那么在这个样本中，患有癌症的人的概率为 0.5%，正常人的概率为 99.5%，这是一个偏斜类，正结果（设为 1 ）占总样本数极小。 如果…

我们在调试一个学习算法时，通常会用学习曲线（Learning Curves）观察机器学习算法是否为欠拟合或过拟合。 在高偏差时，随着样本数目的增加，测试集的偏差与交叉验证集的偏差几乎相等，测试集的偏差在上升到一定程度后就不会继续上升；根据交叉验证集来看，多项式的泛化程度随着数据…

在训练机器学习模型中，结果不能被很好地预测通常是因为高偏差（欠拟合）或高方差（过拟合）。把交叉验证集的代价函数和测试集的代价函数画在一个图像中： 左面红色部分为高偏差（欠拟合），右边红色部分为高方差（过拟合）。 其中蓝色框为正则化项，λ 越大，代表对参数的惩罚就越大。 对于正则…

在机器学习中，我们训练了一个模型，可能会发现这个模型得到的数据与实际数据偏差太大。这时，通常我们会在如下办法中选择去优化我们的算法。 减小 λ。 以上这些步骤通常会花费你大量的时间，而且毫无目的地选择很可能会没有效果。 为了防止以上的事情发生，减少让你抓狂的几率，维护世界的和平…