Linzx的学习笔记

0、前言 真实面试题： 使用了reduceByKey()和groupByKey()等xxxByKey()算子一定会产生shuffle吗？ Spark 如何优化或者减少shu...

1、repartition 1.1、官方解释 返回一个新的RDD具有 (numPartitions) 指定的分区数，可以通过该方法进行RDD并行度（分区数）的修改 如果要减...

1、通过map关联外部数据源 问题：每一条数据都会对数据库建立连接，执行SQL语句，关闭连接。频繁的建立关闭连接会造成大量的资源消耗 2、通过mapPartitionsWi...

0、拓展 spark数据移动的两种方式： IO移动：指数据不需要区分每一条数据归属于哪个分区，既不需要通过partitioner shuffle：指数据需要经过洗牌，计算其...

1、RDD 官方解释是：A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Rep...

1、前言 Master是spark中核心角色，涉及到集群通信以及资源调用申请，不仅要接收Driver，Worker的注册调用，还需要根据调度情况知道其他角色的状态，例如：E...