wlk

一个简单的qlexpress 表达式调试器,可以实时执行表达式,并将结果实时显示。 输入参数应该是一个json格式的字符串（若不符合json格式，会有提醒）

若保持externalShuffleServiceEnabled为默认false，则可以启动多个Worker。 用于将shuffle任务从Executor中解放出来，减少Executor的压力，使其专注与任务处理，而不被shuffle所打扰。有利于提高效率。 Worker的启动…

Master进程的重要性已经不需要过多的描述，一个Spark集群（Standalone部署模式）必须有至少一个Master进程来协调整个集群的资源。 SparkConf还比较好理解，就把它当作是一个键值对的配置集合。 本文接下来将尽最大的努力，用通俗易懂的方式讲解清楚。 首先来…

第一次写技术博客，心情十分紧张，虽然可能没有什么人看，虽然可能写的逻辑不同，虽然可能写的有错误，但，还是决定勇敢的写出来。纪念以下 最开始，阅读源码的目的是想了解一下Spark是如何进行分布式计算的，以及本着对RPC的兴趣，想搞清楚Spark底层是如何进行RPC通讯的。 但是发…