这是我参与「第四届青训营」笔记创作活动的第12天

大数据与OLAP系统的演进

什么是大数据

大数据!=大规模的数据量?
关于大数据这里我们参考马丁·希尔伯特的总结:大数据基实是在2000年后，因为信息化的快速发展。信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。

Hadoop:基于廉价机器的存算分离的大规模分布式处理系统

谷歌在2003、2004年发布Google File System论文、MapReduce论文。
2008年，Hadoop成为apache]顶级项目

OLAP(OnLine Analytical Processing)

对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能(BI)应用程序背后的技术。

OLAP VS MapReduce

MapReduce代表了抽象的物理执行模型，使用门槛较高
与Mapreduce Job相比，OLAP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化。

OLAP核心概念：

维度
度量

常见的OLAP引擎:

预计算引擎:Kylin, Druid
批式处理引擎:Hive, Spark
流式处理引擎:Flink
交互式处理引擎:Presto, Clickhouse, Doris

Presto设计思想

Presto最初是由Facebook研发的构建于Hadoop/HDFS 系统之上的PB级交互式分析引擎，其具有如下的特点:

多租户任务的管理与调度
多数据源联邦查询
支持内存化计算
Pipeline式数据处理

Presto基础原理

1.基础概念

服务相关

Coordinator
- 解析SQL语句
- 生成执行计划
- 分发执行任务给Worker节点
Worker
- 执行Task处理数据
- 与其他Worker交互传输数据

数据源相关

Connector:
- 一个Connector代表一种数据源。可以认为Connector是由Presto 提供的适配多数据源的统一接口。
atalog:
- 管理元信息与实际数据的映射关系。

Query相关

Query
- 基于SQL parser后获得的执行计划
Stage
- 根据是否需要shufile将Query拆分成不同的subplan，每一个subplan便是一个stage
Fragment
- 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价
Task
- 单个Worker节点上的最小资源管理单元:在一个节点上,一个Stage只有一个Task,一个Query可能有多个Task
Pipeline
- Stage按照LocalExchange 切分为若干Operator集合,每个Operator集合定义一个 Pipeline.
Driver
- Pipeline的可执行实体，Pipeline 和Driver的关系可类比程序和进程,是最小的执行单元，通过火山迭代模型执行每一个Operator.
Split
- 输入数据描述(数据实体是Page),数量上和Driver ——对应，不仅代表实际数据源split，也代表了不同stage间传输的数据。
Operator
- 最小的物理算子。

数据传输相关

Exchange & LocalExchange:
Exchange:
- 表示不同Stage 间的数据传输，大多数意义下等价于Shuffle
LocalExchange:
- Stage内的rehash 操作，常用于提高并行处理数据的能力(Task在Presto中只是最小的容器，而不是最小的执行单元)

LocalExchange的默认数值是16。

2.Presto架构

架构图

服务发现

Discovery Service:

Worker 配置文件配置 Discovery Service地址
Worker节点启动后会向Discovery Service 注册
Coordiantor 从Discovery Service获取Worker的地址

通信机制

通信机制

Presto Client /JDBC Client 与Server 间通信Http
Coordinator 与Worker 间的通信Thrift / Http
Worker 与Worker 间的通信Thrift / Http

Http 1.1 VS Thrift
Thrift具有更好的数据编码能力，Http 1.1还不支持头部信息的压缩，Thrift具有更好的数据压缩率

节点状态:

ACTIVE
INACTIVE
SHUTDOWN

Presto重要机制

1.多租户资源管理

Resource Group
- 类似Yarn 多级队列的资源管理方式
- 基于CPU、MEMORY、SQL 执行数进行资源使用量限制
优点:
- 轻量的Query级别的多级队列资源管理模式
缺点
- 存在一定滞后性，只会对Group中正在运行的 SQL进行判断

2.多租户下的任务调度

Stage调度
Task调度
Split 调度

3.内存计算

Pipeline(按LocalExchange拆分) :
- Pipeline的引入更好的实现算子间的并行
- 语义上保证了每个Task内的数据流式处
Back Pressure Mechanism
- 控制split生成流程
- 控制operator的执行

4.多数据源联邦查询

将各个数据源进行统一的抽象，最后由presto server 进行统一的物理执行。

Presto架构原理及优化 | 青训营笔记