大家好，我是一条~ 5小时推开Spark的大门，最后一小时，聊聊提了这么久的RDD。 话不多说，开干！ 什么是RDD Spark为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的

1.1.1. scala> sc.parallelize(1 to 100).之所以会有 8 个 Tasks, 是因为在启动的时候指定的命令是 spark-shell --master local[8], 这样会生成 1 个 Executors, 这个 Executors 有 8...

上一篇权当吹水了，从这篇开始进入正题。 RDD（Resilient Distributed Dataset）叫做 弹性分布式数据集 ，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. 一个分区（Partition）列表，组成了该RDD的数据…