zicesun

Spark的集群调度其实蛮简单的，这里总结了一些集群资源调度的基本原理。 spark集群是怎么管理集群的计算资源和内存资源的呢？其实在这背后有一个资源注册的机制。简单来说，就是Worker节点讲自己的资源报告给master。 首先，在Worker节点启动的时候，Worker进程…

根据人的名字判断任务的性别是一个很有趣的工作. 预测英文姓名的性别,对first name进行预测,有很多种方法,比如朴素贝叶斯法,SVM,神经网络等.预测的时候能够利用的特征也有多种:名字的最后一个字母,两个字母(2-gram),最后一个字母是否是元音或者辅音. 我们讲介绍如…

Java实现生产者和消费者的5种方式

这里，从源码的角度总结一下Spark RDD算子的用法。 源码中有一个 sc.clean() 函数，它的所用是去除闭包中不能序列话的外部引用变量。Scala支持闭包，闭包会把它对外的引用(闭包里面引用了闭包外面的对像)保存到自己内部，这个闭包就可以被单独使用了，而不用担心它脱离…

之前用过scala写过一些spark的小例子，最近在准备面试，因此在这里用java实现简单的Spark例子。 数据很简单，是一个被预先处理的日志文件，包括时间、电话号，上行流量和下行流量。一行为一条记录，不同数据之间用制表符隔开。