首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Spark学习笔记
游龙975
创建于2021-06-10
订阅专栏
Apache Spark™ is a unified analytics engine for large-scale data processing.
等 1 人订阅
共5篇文章
创建于2021-06-10
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
游龙975
1年前
后端
Spark
Spark Streaming 使用Direct模式读取Kafka数据源码分析
Spark Streaming 使用Direct模式读取Kafka数据源流程,主要分为两部分,一部分是driver端,给每个批次分配offsetRanges(fromOffset -- untilOf
634
1
评论
游龙975
1年前
后端
Spark Streaming执行流程分析
为了探索Spark Streaming的完整执行流程,我们先看下Spark源码项目examples模块里面提供的Spark Streaming案例: org.apache.spark.examples
317
3
评论
游龙975
1年前
后端
源码
Spark数据输入--DataFrame/Dataset生成
之前文章Spark数据输入--RDD生成里讲过,Spark的数据输入,主要有三类,这里我们开始研究一下其中的第三类,即Spark如何加载数据生成DataFrame/Dataset。 先介绍一下什么是D
703
2
评论
游龙975
1年前
后端
Spark数据输入--DStream生成
Spark如何加载流数据产生DStream的,InputDStream是怎么去加载数据的。 以DirectKafkaInputDStream为例进行说明。
279
2
评论
游龙975
1年前
Spark
后端
Spark数据输入---RDD生成
Spark是如何加载外部数据源生成RDD的? 从源码分析Spark Core加载外部数据源生成RDD的过程。
919
2
评论