Spark学习笔记

Spark Streaming 使用Direct模式读取Kafka数据源流程，主要分为两部分，一部分是driver端，给每个批次分配offsetRanges（fromOffset -- untilOf

为了探索Spark Streaming的完整执行流程，我们先看下Spark源码项目examples模块里面提供的Spark Streaming案例： org.apache.spark.examples

之前文章Spark数据输入--RDD生成里讲过，Spark的数据输入，主要有三类，这里我们开始研究一下其中的第三类，即Spark如何加载数据生成DataFrame/Dataset。 先介绍一下什么是D

Spark如何加载流数据产生DStream的，InputDStream是怎么去加载数据的。 以DirectKafkaInputDStream为例进行说明。

Spark是如何加载外部数据源生成RDD的？ 从源码分析Spark Core加载外部数据源生成RDD的过程。