云祁

一、概述二、shuffle的定义三、ShuffleManager发展概述四、HashShuffleManager的运行原理4.1　未经优化的HashShuffleManager4.2　优化后的HashShuffleManager五、SortShuffleManager运行原理5....

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个tas...

在大数据计算领域，Spark 已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark 的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。大多数同学（包括笔者在内），最初开始尝试使用Spark的...

1. 复制层（SSA,system-of-records-staging-area） SSA 直接复制源系统(比如从mysql中读取所有数据导入到hive中的同结构表中，不做处理)的数据，尽量保持业务数据的原貌；与源系统数据唯一不同的是，SSA 中的数据在源系统数据的基础上加入了...

1. 2. 3. 4. 5. 1. 2. 3. 数据模型可能采用反范式设计，合并信息等。4. 5. 干货：解码OneData，阿里的数仓之路。

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/S...

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/S...

Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.Azkaban 初始化脚本文件：azkaban-sql-script-2.5....

　　5、 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。特性HamakeOozieAzkabanCascading工作流描述语言XMLXML (xPDL based)text file with key/value pairsJava API依赖机制data-dr...