Spark
3篇文章 · 0订阅
  • 数仓模型设计详细讲解
    今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。 维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建…
    大数据
  • Spark学习——数据倾斜
    1. 什么是数据倾斜 拖慢整个Job执行时间（其他已经完成的节点都在等这个还在做的节点）。 2. 解决数据倾斜需要 搞定 OOM 的根本原因等：一般都因为数据倾斜（某task任务的数据量过大，GC压力大，和Kafka不同在于Kafka的内存不经过JVM，其基于Linux的Pag…
    Spark
  • 到处是map、flatMap，啥意思？
    更多精彩文章。 最近入职一个有趣的年轻同事，提交了大量大量的代码。翻开git记录一看，原来是用了非常多的java8的语法特性，重构了代码。用的最多的，就是map、flatMap之类的。 但是其他小伙伴不愿意了，虽然有的人感觉代码变的容易懂了，但有更多的人感觉代码变的很晦涩。 那…
    Java 大数据