宝哥大数据

  topic是被发布记录的类别或提要名称。在kafka中， topic 是多租户的，一个topic可以工多个用户订阅。             每个分区都是一个有序的、不可变的记录序列，这些记录一直被附加到结构化的提交日志中。分区中的记录分别被分配一个称为偏移量（offset）...

   Java RMI 指的是远程方法调用 (Remote Method Invocation)。它是一种机制，能够让在某个 Java 虚拟机上的对象调用另一个 Java 虚拟机中的对象上的方法。可以用此方法调用的任何对象必须实现该远程接口。Java RMI不是什么新技术（在Ja...

##一、zookeeper节点创建 ###1.###1.

1. Error while executing topic command org.apache.zookeeper.cd /uardata10/chbtmp/package/kafka_2.10-0.8.2.1../bin/kafka-topics.[root@idc0071...

为了获取每个分组的topN， 首先要进行分组， 再对每个分组进行排序，获取TopN。1.SparkConf conf = new SparkConf().setMaster("local").JavaRDD<String> lines = jsc.JavaPairRDD<Stri...

为了获取一列值的前五个最值，我们需要对该列数据进行排序， 取前五个，但是sortByKey 是按照(key,value)格式，对key进行排序，所以我们需要将数据构建成（key， value）形式，然后按照前面Spark-二次排序，然后将key剔除， 剩下value为排序好的序列...

2.使用scala.math.package com.chb.sparkDemo.import java.io.import scala.math.* 使用scala.math.this.this.this.this.if (this.getFirstKey() > other....

通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。 这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。 广播变量的好处，不...

  Input DStreams是表示从源数据接收的数据流的DStream。 在wordcount案例中，lines是一个Input DStream，因为它表示从netcat的9999端口接收的数据流。 每个输入DStream（文件流除本节稍后讨论）与Receiver（Scala...