欣xy

图聚类是网络中发现社区和群体的的一项基本任务，最近的研究主要集中在紧凑图嵌入（compact graph embedding）的深度学习方法，在此基础上应用了经典的聚类算法。

HashPartitioner分区的原理: *对于给定的key，计算其hashCode，并除以分区的个数取余*。如果余数小于0，则用余数+分区的个数（否则加0），最后返回的值是这key所属的分区ID

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第23天，点击查看活动详情 论文地址：Deep Residual Learning for Image Recognition 论

RDD持久化有两种方式： 一是使用Cache缓存，二是设置CheckPoint检查点。RDD通过Cache方法 将前面的计算结果缓存；检查点Checkpoint会将RDD中间结果写入磁盘。

这篇文章我们讲一下行动算子中用的比较多的 返回数据相关的算子（collect()）以及遍历算子（foreach()）

因为Transformation转换算子都是懒加载，并不会立即执行，只有遇到行动算子才会触发整个作业的执行。Action行动算子大体上可以分为 聚合算子、统计key数算子、save算子、返回数据集算子

在梯度下降法中， 随着算法反向的反馈， 梯度会越来越小，最终归零没有变化，但此时并没有收敛到比较好的解，这就是梯度消失的问题。

在神经网络中，我们在每一层线性变换后叠加一个非线性激活函数，以避免多层网络等效于单层线性函数，从而获得更大的学习与拟合能力，以此来解决复杂的非线性问题。

上篇我们说了Key-Value类型中的聚合算子，本文我们讲一下 分区算子partitionBy()、分组算子groupByKey()、排序算子sortByKey()。