_orange

提纲 过去八九年在广告、生活服务、电商等领域从事大数据及推荐系统相关工作，近来打算对过去的工作做一个系统性的梳理。一方面帮自己查缺补漏、进行更深入的学习；另一方面也希望能通...

最令人头秃的就是看源码 环境 本次使用的spark版本是 3.0.0 1.这是我们提交任务的脚本 2.咱们看下 spark-submit 脚本代码...

sparksql源码解析 1.sparkSQL的主要组件以及作用 Spark SQL是Apache Spark的一个模块，用于处理结构化和半结构化数据。它提供了编程接口，用...

最近公司有同事反馈，提交到hive server2的create table as 作业出现状态是成功的，但是表却未创建成功，导致下游任务报table not found错...

本博文主要记录我学习 Java 反射（reflect）的一点心得，在了解反射之前，你应该先了解 Java 中的 Class 类，如果你不是很了解，可以先简单了解下。 若暂时...

工厂模式我个人认为其实比较难理解的，如果有接触过|听过|见过该模式的同学很可能就会想：我自己new一个对象出来就好了，简单快捷。用得着你这个工厂模式吗？搞一个工厂出来还要写...

在 oop 编码设计中，我们有句经典的话叫做 "万物皆对象".实际开发中，我们只要能拿到类的实例，即对象。就可以开始搞事情啦，可以命令对象去做一些事情，当然啦~每个对象的能...

这两个关于NameNode的问题其实非常地经典，不仅有很多细节可询，而且也是面试的一个高频问题，所以特意独立出来一篇。元数据管理会结合源码来讲，而双缓冲虽然暂时没去翻源码，...

互联网公司团队美团技术团队...

JavaJava多线程编程核心技术-高洪岩.著大数据Hadoop权威指南-《第四版》Hive编程指南-曹坤.译...

随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文...

calendar是共享变量，并且这个共享变量没有做线程安全控制。当多个线程同时使用相同的SimpleDateFormat对象【如用static修饰的SimpleDateFo...