第四届青训营大数据笔记

这是我参与「第四届青训营 」笔记创作活动的的第9天 一、元数据服务高可用 1.高可用的需求 高可用的需求 故障类型：硬件/软件/人为 灾难：数据中心级别不可用：比如机房断电；空调停机；机房之间的网络故

这是我参与「第四届青训营 」笔记创作活动的的第7天 一、shuffle概述 1.MapReduce概述 ·在开源实现的MapReduce中，存在Map、Shuffle、Reduce三个阶段。 Map阶

本片文章介绍了HDFS的原理与应用，主要介绍了他的三个组件，client，NameNode，DataNode和一些异常处理。

本文主要介绍了Spark的原理解析，以及RDD算子的详细介绍，和Catalyst优化规则等，以及一些存在的问题。

本文主要介绍了流、批、OLAP一体的Flink引擎。Flink的诞生背景，架构，作业实例，流批一体的原因和如何做到，以及Flink的OLAP的优化之路。