Spark3源码编译-IDEA 之前可以在linux环境进行spark源码的修改和编译，没有在笔记本上走通过编译流程，记录遇到的问题和解决方案。在电脑上修改编译源码方便日常的调试使用，步骤如下。

背景 基于TPCDS的100G，500G数据进行了99SQL综合调优测试 测试机为物理机5台，1台为管理节点，4台为计算节点 可用内存约1T，核心数（vCore）200大概 重要参数 执行器个数 --

开发层面通常使用嵌入式的Java应用程序或连接JanusGraph Server的模式与JanusGraph数据交互，但作为分布式图数据库的一个代表，不与Spark这样的分布式计算引擎产生一点瓜葛……

2019年就快结束啦，又到了总结过去展望未来的时候，最近和小伙伴们在进行Spark的功能的梳理，以便进一步研究学习。 Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像 Kafka, Flume, Kine…

以上两张表就创建好了，简单。 官网的 Example 36. HBaseContext Usage Example 如下： new SparkContext("local", "test") 这种写法是这个包独有的。详情如下： 两种API方法底层均调用SparkHadoopWr…

结果中只有default数据库，并无其他hive中已创建好的数据库，读取并处理更无从谈起。而期望是能显示hive中的其他多个数据库名称。 推测可能是新版本的集成包中，spark采用了一套独立的配置，因而可以正常启动，但读取不到hive的数据库。 能够正常显示我在hive中创建的…