Spark reduce task数目设置，解决小任务过多slave挂掉

需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism=8

通常将reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销，还可能导致节点挂掉；数目太少，任务运行缓慢。

\

博主当时用了 collectAsMap 操作，每次运行到这都会挂掉一台worker，ui显示任务数有好几百，设置改参数后任务数变为8，worker也不挂了。