_orange

提纲 过去八九年在广告、生活服务、电商等领域从事大数据及推荐系统相关工作，近来打算对过去的工作做一个系统性的梳理。一方面帮自己查缺补漏、进行更深入的学习；另一方面也希望能通过博客结交同好，增进交流。

最令人头秃的就是看源码 环境 本次使用的spark版本是 3.0.0 1.这是我们提交任务的脚本 2.咱们看下 spark-submit 脚本代码

sparksql源码解析 1.sparkSQL的主要组件以及作用 Spark SQL是Apache Spark的一个模块，用于处理结构化和半结构化数据。它提供了编程接口，用于在大型分布式集群上进行数据

本博文主要记录我学习 Java 反射（reflect）的一点心得，在了解反射之前，你应该先了解 Java 中的 Class 类，如果你不是很了解，可以先简单了解下。 若暂时不明白理论没关系，先往下看例子，之后再回来看相信你就能明白了。 为使得测试结果更加明显，我首先定义了一个 …

工厂模式我个人认为其实比较难理解的，如果有接触过|听过|见过该模式的同学很可能就会想：我自己new一个对象出来就好了，简单快捷。用得着你这个工厂模式吗？搞一个工厂出来还要写一大堆的代码呢~ 网上的很多资料都是在阐述着：工厂模式的好处就是解耦。相信大家对解耦这个词也不陌生，那解耦…

在 oop 编码设计中，我们有句经典的话叫做 "万物皆对象".实际开发中，我们只要能拿到类的实例，即对象。就可以开始搞事情啦，可以命令对象去做一些事情，当然啦~每个对象的能力都是不同的，能做的事情也是不同。对象中存储着类的成员属性（成员变量和成员方法）。我们命令对象去为我们工作…

这两个关于NameNode的问题其实非常地经典，不仅有很多细节可询，而且也是面试的一个高频问题，所以特意独立出来一篇。元数据管理会结合源码来讲，而双缓冲虽然暂时没去翻源码，但是我们可以借由一个简单的实现去向大家好好地说明。后面也会对这段源码进行一些修改操作来让它更为高效。那话不…

随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS，它是一个文件系统，用于存储文件，通过目录树…