GreenArrow2017

聚类算法属于无监督学习，没有给出分类，通过相似度得到种类。 主要会讲四种：Kmeans均值，层次聚类，DBSCAN，谱聚类。 p=2时就说平时计算的几何距离，当p趋向于正无穷的时候，其实求的就不是x,y的距离了，而是求x y中最长的一个了。因为如果x大于y，在指数增长下x回远大…

回顾上一篇文章讲到的聚合模型，三个臭皮匠顶一个诸葛亮。于是出现了blending，bagging，boost，stacking。blending有uniform和non-uniform，stacking是属于条件类的，而boost里面的Adaboost是边学习边做linear，…

logistics regression algorithm model中使用的是特征的线性组合，最终得到的分割平面属于线性模型，但是线性模型就只能处理线性问题，所以对于非线性的问题就有点难处理了，对于这些复杂问题一般是两种解决方法①对数据本身进行处理，比如进行特征转换，和函数…

这几篇博客介绍的第一个feature transform方法就是kernel。kernel先出现是在SVM里面，原因就是为了减少 內积计算的复杂度，把特征转换和內积计算结合到一起。特征转换其实也是一种特征的提取。介绍过的kernel：polynomial kernel，Gaus…

Label propagation是基于标传播的一种社区划分算法。Label Propagation Algorithm简称LPA算法，也可以是说是一种划分小团体的算法。这种社区划分的方法有很多，LPA只是一种最简单的一种。比如，以微博为例，用户在微博上可以关注感兴趣的人，同样…

机器学习的作用就是要从一堆数据中学习到学习到某种能力，然后用这种skill来预测未来的结果。比如一个电影推荐的例子，我们手上有很多的电影数据，现在就需要训练一个机器学习的模型来使得这个模型可以预测一个新来的用户会喜欢什么电影，然后推荐过去。或者是对用户没有看过的电影进行评分预测…

重新回顾一下一开始学的PLA，preceptron learning Algorithm。PLA适用于二维及高维的线性可分的情况，如果是非线性可分的数据，如果使用PLA可能会无限循环。问题的答案只有同意或不同意： PLA要做的其实就找到一个x映射到y的f，使得这个f和数据的分布…

上一篇是讲到了决策树，这篇就来讲一下树的集合，随机森林。 随机森林还是没有脱离聚合模型这块，之前学过两个aggregation model，bagging和decision tree，一个是边learning边uniform。首先是boostrap方式得到数据D1，之后训练做平…

softmax分类器和logistics regression有点像，softmax其实就是从logistics发张过来的。由于是多分类了，需要走更多的概率来表示每一个分类。softmax的公式： 问题来了，为什么不直接求？而是绕这么大的一圈最后还是求最大值。①我们需要的其实就…