想做个好程序员

一、Spark中coalesce和repartiton的区别 repartition对数据进行完全洗牌，创建新的数据分区，这些分区的数据量是均衡分布的。 repartition必然会造成shuffle

一般而言，分布式数据集的容错性具备两种方式：数据检查点和记录数据的更新 checkpoint机制——数据检查点 记录更新机制（在Saprk中对应Lineage机制） checkpoint机制 chec

执行UDF 输出结果 UDF和UDAF的区别 UDF(User Defined Functions) 是普通的不会产生 Shuffle 不会划分新的阶段的用户自定义函数，UDAF(User Defin

Spark 算子大致可以分为以下三类: 1、map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 2、mapPartiti

在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建RDD、从其他RDD创建。