用户7317638027324

这是我参与「第四届青训营 」笔记创作活动的第十六天 yarn yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计...

这是我参与「第四届青训营 」笔记创作活动的第十五天 CAP CAP是指在一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（...

这是我参与「第四届青训营 」笔记创作活动的第十四天 LSMT，即Log-Structured Merge-Tree，这是一个经典的数据结构，在大数据系统中有着非常广泛的应用...

这是我参与「第四届青训营 」笔记创作活动的第十三天 Parquet概述 Apache Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开...

这是我参与「第四届青训营 」笔记创作活动的第十二天 Kafka 不足 Kafka 没有租户概念，需要手动维护多个集群，不方便运维。 Kafka 集群扩容后需要做 Reass...

这是我参与「第四届青训营 」笔记创作活动的第十一天 数据湖的优点 数据湖相比传统数仓而言，最明显的便是优秀的T+0能力，这个解决了Hadoop时代数据分析的顽疾。传统的数据...

这是我参与「第四届青训营 」笔记创作活动的第十天 HBase 是一种类似于数据库的存储层，也就是说 HBase 适用于结构化的存储。并且 HBase 是一种列式的分布式数据...

这是我参与「第四届青训营 」笔记创作活动的第九天 HDFS的高可用(HA) 首先来看一下HDFS的高可用，也可以称之为HA(High Available) HDFS的HA，...

这是我参与「第四届青训营 」笔记创作活动的第八天 HDFS特性 高性能 容错 相对简单的中心化管理 主/从架构(M/S) 安全 2种级别的安全可供选择 优化的分布式处理 数...

Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库...

Shuffle一般被翻译为数据混洗，是类 MapReduce 分布式计算框架独有的机制，也是这类分布式计算框架最重要的执行机制。Shuffle主要分为：逻辑层面、物理层面。...

Spark是一个基于内存的快速、通用、可扩展的大数据分析计算引擎,由Scala开发。Java,scala,python,R和SQL都可以访问SparkAPI。...

对于流式计算（streaming）而言，窗口是一个永远绕不开的话题，最常见的需求，比如计算某个字段最近一小时的累积量，计算某个字段一天的出现的次数等。...

flink采用基于 checkpoint 的分布式快照机制，能够保证作业出现 fail-over 后可以从最新的快照进行恢复，即分布式快照机制可以保证 Flink 系统内部...

首先是用户提交Flink程序，这个Flink程序就会转换成逻辑数据流图。客户端接收到逻辑数据流图之后，然后连同jar包以及一些依赖包就会提交给了JobManger，JobM...

这是我参与「第四届青训营」笔记创作活动的第一天 SQL的处理流程 1.Parser（解析器）2.Analyzer（分析器）3.Optimizer（查询优化）4.Execut...