宝哥大数据

  开始，我们需要构造ProducerRecord，它必须包含想要存储的topic以及想要发送的数据，另外，也可以直接指定特殊的key或者分区。当发送ProducerRec...

  topic是被发布记录的类别或提要名称。在kafka中， topic 是多租户的，一个topic可以工多个用户订阅。             每个分区都是一个有序的、不...

   Java RMI 指的是远程方法调用 (Remote Method Invocation)。它是一种机制，能够让在某个 Java 虚拟机上的对象调用另一个 Java ...

##一、zookeeper节点创建 ###1.###1....

1. Error while executing topic command org.apache.zookeeper.cd /uardata10/chbtmp/packa...

为了获取每个分组的topN， 首先要进行分组， 再对每个分组进行排序，获取TopN。1.SparkConf conf = new SparkConf().setMaster...

为了获取一列值的前五个最值，我们需要对该列数据进行排序， 取前五个，但是sortByKey 是按照(key,value)格式，对key进行排序，所以我们需要将数据构建成（k...

2.使用scala.math.package com.chb.sparkDemo.import java.io.import scala.math.* 使用scala.ma...

通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。 这些变量被复制到所有的机器上，远程机器...

  Input DStreams是表示从源数据接收的数据流的DStream。 在wordcount案例中，lines是一个Input DStream，因为它表示从netca...

Spark Streaming还提供了窗口计算，允许您在数据的滑动窗口上应用转换。 下图说明了这个滑动窗口。如图所示，每当窗口滑过源DStream时，落在窗口内的源RDD被...

updateStateByKey操作允许您在使用新的信息持续更新时保持任意状态。 要使用这个，你将不得不做两个步骤。 定义状态 - 状态可以是任意数据类型。 定义状态更新功...

transform操作允许将任意RDD到RDD函数应用于DStream。 它可用于应用任何未在DStream API中公开的RDD操作。 例如，将数据流中的每个批处理与其他...

package com.chb.spark.import java.io.import java.util.import java.util.import java.uti...

  Spark Streaming是Spark 核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从诸如Kafka，Flume，Kinesis或T...

一、修改spark-env.1.#配置HA, 主要配置spark.deploy.recoveryMode指定zookeeper，及zookeeper.export SPAR...

Application 基于Spark的应用程序，包含了driver程序和 集群上的executorDriver Program 运⾏行main函数并且新建SparkCon...

package com.chb.import org.apache.spark.import org.apache.spark.api.java.import org.ap...

The version of scala library found in the build path of TestSpark (2.10.5) is prior to...

package com.chb.import org.apache.spark.import org.apache.spark.import org.apache.spar...