机器学习

最近在学习数据挖掘的数据预处理一章中碰到了小波变换，之前并没有学习过有关信号处理的东西，所以参考网上的资料，对其做一个简单的了解，后面如果用得到，再做深入的学习。 基（basis）：在线性代数中我们都曾学过，它表示空间中的一系列线性独立的向量，空间中的其他向量都可以通过它的线性组...

1. 下面我们通过一个例子具体看一下：假设靶的中心是样本的真实值，左图镖的位置距离中心远，表示偏差大，但是位置相对集中，则方差较小；右图镖的位置相对左图距离中心更近，表示偏差较小，但是位置分散，表示方差较大。相对于前面的公式表示，我们用图像化表示后就可以很直观的看到偏差、方差和噪...

官方文档： https://scikit-learn.org/stable/modules/preprocessing.Sklearn.preprocessing包提供了很多的的函数和转换器的类，便于用户将原始数据的特征向量转换成适合后面部分要用到的形式。通常演算法使用标准化的数...

字典学习机器学习——字典学习/稀疏编码学习笔记Dictionary Learning(字典学习、稀疏表示以及其他)Sparse dictionary learning

Bagging是使用booststrap从现有的数据集D中产生多个不同的新数据集D’，然后在这些数据集上运行基演算法得到相应的gt，最后将所有的gt采用投票（类别型）或是取平均值（数值型）的方式集成为最后的模型G。Decision Tree是根据分割的条件，递归的将数据集进行划分...

上一讲学习了AdaBoost算法，通过在算法的迭代中不断地调整数据的权值，得到不同的h，然后使用不同的系数α将其线性组合，得到最后的模型。通过这种提升的办法，将本来可能并不是很好的模型变成要求的效果的程度。前面讲的Aggration Model，通过将不同的h进行整合从何得到更好...

上一讲学习了如何使用blending将很多的g结合起来，从而提升模型的整体的效果，已经如何使用boosting来从一个数据集中产生多个不同的新数据集。这一讲来看一下提升算法，主要看Adaptive Boosting这个算法。然后讲分对的图片缩小，分错的图片放大，再去问另一个人。如...

下面从一个生活中的小例子引入：当我们买股票时，通常不会是随意的选择一支去买，为了得到最大的收益，一般都会去征求一下其他人的意见，假设有T个朋友记为g1……gT，它们分别给出的意见记为gt(x)。那么我们如何来通过这些意见来选到最好的股票呢？ 1. 从经常买股票的朋友中选择平时收益...

上一讲讲了如何将kernel的思想结合Logistic Regression，应用到Soft-binary Classification中。上一讲我们证明了任何的包含L2正则化的线性模型，它的最佳的w*都可以写成是关于Zn的线性组合。上式是关于β的二次多项式，计算梯度，令其梯度值...

前面我们学习了Linear Hard-Margin Support Vector Machine、Dual Support Vector Machine和Kernel Support Vector Machine，解决了某些问题。但是这些都是硬间隔支持向量机，即要求每一个点都不能...

上一讲讲到通过Dual Support Vector Machine我们最后的表达式看起来只与N有关，而和新转换域的维度d无关，但其实它隐藏在了Q的计算之中。首先回顾一下上一讲得到的表达式如下，通过二次规划的方法求解，得到α、w、b，从而最后等到我们的假设h，具体的求解过程可见上...

上一讲学习了线性硬间隔支持向量机，如果数据集是线性可分的，在得到我们的目标表达式和它的限制条件后，可以使用二次规划的方法进行求解；如果是非线性可分的，通过线性转换到其他的域中，同样可以使用线性可分的方法来做。这一讲学习Dual Support Vector Machine，即对偶...

最近在看支持向量机，想起之前收集的一篇资料，贴出来希望大家看了对于SVM公式的推导有学习作用。

VCBound​的要求，而且模型的复杂度相同，泛化能力相同。首先，我们将图像改为下图所示的形式，点周围的圆形区域表示分类线所能容忍的误差的程度，即区域面积越大，数据点到直线的距离越大，容忍误差的程度越强，反之越小。x ,直线也可以将其正确的区分。而且这里的胖指的是在正确划分的基础...

在学习了有关机器学习的算法和相关的知识后，了解一下机器学习的几个应用场景。最常见的一个应用就是图像文字的识别，通过在给定的图片中运行算法，来给出图片中存在的文字。 主要的步骤如下所示： • 文字的侦测：识别出图片中文字的范围，利用矩形框等将其与其他的环境对象分隔开 • 字符的切分...

在实际的机器学习的应用中，我们需要使用的是很大规模的数据集，如何在上面训练我们的机器学习算法，是一个很重要的问题。而且当我们的数据集足够大的时候，相近的模型就可以取得更好的效果。 那么如何应对这种大规模的数据集呢？以线性回归为例，在求解代价函数时，我们通常使用的是梯度下降法，其中...

这一讲来学习一下推介系统，这个东西在我们的日常生活中很常见也很重要，当你使用某些网站的时候，网站自动会为你推荐某些商品或是推荐某些视频作品，这些看起来总是和我们之前的购买历史或是浏览历史相似。那它背后是怎么运行的算法的原理是什么？这一讲来简单学习一下 假设我们有如下的数据集，它包...

第一个就是奥卡姆剃刀原则：在能解释清楚某个东西的基础上，能用简单的话就不要用复杂的 它反映到机器学习上是个什么意思呢？它指的是在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型。比如之前的例子中，我们能用低阶的模型取得比较好的效果，就不要用更加复杂的模型...

上一讲学习了一个避免过拟合的方法：正则化，通过正则化来减小模型的复杂度，从而达到避免过拟合的效果。这一讲介绍了另一种很常用的方法，那就是验证（Validation） 在机器学习中，模型的学习过程是很复杂的，它最终的效果受很多东西的影响，即使是最简单的二分类也要考虑很多东西。比如我...