【Spark 调优】Spark 开发调优的十大原则

159 阅读1分钟

Spark的调优是面试或者笔试考察的重点:总结下

                                 

                                                                                    1.开发调优: 

原则一:避免创建重复的RDD。

原则二:尽可能复用同一个RDD。

原则三:对多次使用的RDD进行持久化。

原则四:尽量避免使用shuffle类算子 。

原则五:使用map-side预聚合的shuffle操作。

原则六:使用高性能的算子

原则七:广播大变量。

原则八:使用Kryo优化序列化性能。

原则九:优化数据结构。

原则十:对数据进行压缩。

原则十一:合并小文件。