墨尘r

最近在做的项目涉及到需要把hive表里面大批量的数据写入到S3，这里初步写了一个demo，记录一下过程。...

最近在做一些Spark SQL任务优化的工作，学习了极客时间吴磊老师的课程之后，针对AQE的特性做了一些调研实践，本文介绍一下应用自动分区合并特性优化任务的过程。...

最近在极客时间学习了吴磊老师的Spark课程，结合网上博客提到的原理过程，这里做一个梳理记录，方便以后翻看。...

最近其他部门需要做调度优化，需要我这边出一份调度数据做分析使用，数据量比较大，记录一下该过程遇到的问题以及解决方案。...

最近在进行SQL优化工作，网上看了很多博客了解到MAPJOIN这一工具，本文主要是进行调研实践，原理过程复制大佬文章内容并进行了整理，注明了出处。...

Spark SQL调优，调优过程中通过Spark UI查看任务运行情况，调整参数主要是spark.num.output.files和spark.sql.shuffle.pa...

Runtime.getRuntime().exec执行shell脚本并提交Spark任务到集群执行过程...

Spark-Submit任务提交报错找不到主类：Error: Failed to load class com.ksyun.bigdata.spark.SparkExecu...

计算机网络、计算机操作系统这两个“兄弟”是所有开发岗位都需要“结拜”的，不管你是 Java、C++还是测试。对于后端开发的童鞋来说，计算机网络的重要性不亚于语言基础，毕竟平...

1. volatile简介 在上一篇文章中我们深入理解了java关键字synchronized，我们知道在java中还有一大神器就是关键volatile，可以说是和sync...

ArrayList就是个泛型类，我们通过设定不同的类型，可以往集合里面存储不同类型的数据类型（而且只能存储设定的数据类型，这是泛型的优势之一）。“泛型”简单的意思就是泛指的...

ZooKeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 Zookeeper数据模型的结构与Unix文件系统很类...