码老思

Spark Shuffle 概念，有些运算需要将各节点上的同一类数据汇集到某一节点进行计算，把这些分布在不同节点的数据按照一定的规则汇集到一起的过程称为Shuffle。...

1.排序 算法的稳定性：通俗地讲就是能保证排序前2个相等的数其在序列的前后位置顺序和排序后它们两个的前后位置顺序相同。在简单形式化一下，如果Ai = Aj, Ai原来在位置...

1.1 Hashmap 与 concurrentHashMap （重点） hashMap 1.7、8 put过程 concurrentHashMap 1.8 put过程 @...

性能优化通常是"时间"与"空间"的互换与取舍，本文主要介绍常用的6种手段。 索引术 压缩术 缓存术 预取术 削峰填谷术 批量处理术 1. 索引术 索引的原理是 拿额外的存储...

前阵子接手了一段同事之前的代码，里面用到了@transaction注解，了解Spring的小伙伴肯定知道，@Transactional是Spring提供的一种控制事务管理的...

4. Spark任务调度 4.1 核心组件 本节主要介绍Spark运行过程中的核心以及相关组件。 4.1.1 Driver Spark驱动器节点，用于执行Spark任务中的...

3. Spark SQL 3.1 Hive、Shark和Sparksql Hive：Hadoop刚开始出来的时候，使用的是hadoop自带的分布式计算系统 MapReduc...

本文主要介绍Spark的核心知识点，RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽...

1. Spark基础 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 下图是Spark的发展历史， 1.1 Spark核心模块 Spark Core：实现了...

7. IOC初始化流程 IoC容器的初始化就是含有BeanDefinition信息的Resource的定位、载入、解析、注册四个过程，最终我们配置的bean，以beanDe...

最近时间稍微宽裕点了，写个面经，希望对大家找工作有所帮助。 下面以时间先后顺序，分享下我在不同公司面试的体验。 简历投递方式：在BOSS直聘上联系的华为HR。 线上笔试：在...

在进行数据操作事，通常会将多条SQL语句作为整体进行操作，这一条或者多条SQL语句就称为数据库事务。数据库事务可以确保该事务范围内的所有操作都可以全部成功或者全部失败。如果...