spark

基础原理 1. Spark组件 2. Spark 部署模式 本地部署 Spark 不一定非要跑在 hadoop 集群，可以在本地，起多个线程的方式来指定。将 Spark 应用以多线程的方式直接运行在本

1、转换算子 1.1 map 1.2 mapPartitions map和mapPartition的区别： map 算子主要目的将数据源中的数据进行转换和改变。但是不会减少或增多数据。是串行，效率低

4040：spark查看当前Spark-shell运行任务情况端口号； 7077：Spark Master内部通信服务端口号； 8080：Standalone模式下，Spark Master Web端