这是我参与「第四届青训营 」笔记创作活动的第8天
概述
OLAP(OnLine Analytical Processing) 对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能(BI)应用程序背后的技术。
OLAP VS MapReduce
1.MapReduce代表了抽象的物理执行模型，使用门槛较高
2.与Mapreduce Job相比，OLAP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化。
OLAP核心概念：
- 维度
- 度量
常见OLAP引擎
- 预计算引擎（用空间换数据）：Kylin,Druid
- 批式处理引擎：Hive,Spark
- 流式处理引擎：Fink
- 交互式处理引擎：Presto,Clickhouse,Doris
Presto设计思想
最初是由Fackbook研发的构建与Hadoop/HDFS系统之上的PB级交互式分析引擎，有以下特点：
- 多租户任务的管理与调度
- 多数据源联邦查询
- 支持内存化计算
- Pipeline式数据处理
1. Presto基础原理与概念
1.1 基础概念--服务相关
-
Coordinator
- 解析SQL语句
- 生成执行计划
- 分发执行任务给Worker节点
-
WorkerConnector
- 执行Task处理数据
- 与其他Worker交互传输数据
1.2 基础概念--数据源相关
- Connector
Connector代表一种数据源。可 以认为Connector是由Presto提供 的适配多数据源的统一接口。
- Catalog
管理元信息与实际数据的映射关系。
1.3 基础概念--Query相关
- Query
基于SQL parser 后获得的执行计划
- Stage
根据是否需要shuffle将Query拆分成不同的subplan,每一个subplan便是一个stage
- Fragment
基本等价于Stage,属于在不同阶段的称呼，在本门课程可以认为两者等价
- Task
单个Norker节点上的最小资源管理单元：在一个节点上，一个Stage只有一个Task,一个Query可能有多个Task
- Pipeline
Stage按照LocalExchange切分为若干Operator集合，每个 Operator集合定义一个Pipeline
- Driver
Pipeline的可执行实体，Pipeline和Driver的关系可类比程 序和进程，是最小的执行单元，通过火山迭代模型执行每 一个Operator.
- Split
输入数据描述（数据实体是Page),数量上和Driver一一对应 不仅代表实际数据源splt,也代表了不同stagel间传输的数据。
- Operator
最小的物理算子。
Exchange LocalExchange:
- Exchange
表示不同Stage间的数据传输，大多数意义下等价于Shuffle
- LocalExchange:
Stage内的rehash操作，常用于提高并行处理数据的能力(Task在 Presto中只是最小的容器，而不是最小的执行单元)
LocalExchange的默认数值是16。
1.4 核心组件架构介绍
1.4.1 核心组件架构介绍--服务发现
Discovery Service
1.Norker配置文件配置Discovery Service地址
2.Vorker节点启动后会向Discovery Service注册
2.Coordiantor从Discovery Service获取Norker的 地址
1.4.2 核心组件架构介绍--通信机制
- 通信机制
1.Presto Client/JDBC Client与Server间通信
Http
2.Coordinator与Norker间的通信
Thrift Http
3.Worker与Worker间的通信
Thrift Http
- Http 1.1 VS Thrift
Thrift具有更好的数据编码能力，Http1.1还不支持头部信息的压缩，Thit具有更好的数据压缩率
节点状态：
- ACTIVE
- INACTIVE
- SHUTDOWN
SHUTDOWN的作用：
即当我想要关闭worker节点时，就会让worker处于shutdown状态，在这个状态下，节点并不会马上关闭，而是会给予节点一个最短关闭时间来处理当前还在处理的数据，并不会再从上游传递数据过来，如果超时则强制关闭
小结
1.从服务、数据源、Query、.数据传输四个角度，介绍了Presto相关的基础概念
- 服务、数据源、Query、数据传输包含哪些基本概念？
- 如何衡量一个任务的并行度(Task并不是最小的执行单元)
2.通过服务发现、通信机制、节点状态三方面介绍了Coordinator与Vorker是如何协调和工作的
2. Presto重要机制
2.1 多用户资源管理--case介绍
2.2 多用户资源管理--Resource Group
Resource Group
类似Yarn多级队列的资源管理方式
基于CPU、MEMORY、SQL执行数进行资源使用量 限制
优点：
1.轻量的Quey级别的多级队列资源管理模式
缺点：
2.存在一定滞后性，只会对Group中正在 运行的SQL进行判断
2.2 多用户下的任务调度--物理计划生成
2.3 多租户下的任务调度--Stage调度
Stage的调度策略
- AllAtOnceExecutionPolicy
同时调度
- PhasedExecutionPolicy
分阶段调度
Stage的调度策略
- AllAtOnceExecutionPolicy
延迟点，会存在任务空跑
- PhasedExecutionPolicy
有一定延迟、节省部分资源
PhasedExecutionPolicy
PhasedExecutionPolicy：
不代表每个stage都分开调度
典型的应用场景(join查询)
- Build端：右表构建用户join的hashtable
- Probe端：对用户左表数据进行探查，需要等待buildi端完成
- Build端构建hashtable端时，probe端是一直在空跑的
2.4 多租户下的任务调度--task调度
Task调度
-
Task的数量如何确定
-
选择什么样的节点（调度方式有那些):
- Source:根据数据meta决定分配多少个节点
- Fixed:hash partition count确定，如集群节点数量
- Sink:汇聚结果，一台机器
- Scaled:无分区限制，可拓展，如write数据
- Coordinator Only:只需要coordinator参与
选择什么样的节点：
- HARD AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输
- SOFT AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker
- NO PREFERENCE:随机选取，常用于普通的纯计算Task（百分之90的选择）
2.5 多租户下的用户调度--Split调度
1,按照固定的时间片，轮训Spit处理数据，处理1s, 再重新选择一个Splt执行
2.Split间存在优先级
MultilevelSplitQueue
- 5个优先级1evel理论上分配的时间占比为16：8：4：2：1(2-based)
优势：
1.优先保证小Quey快速执行
2.保障大Query存在固定比例的时间片，不会被完全 饿死
2.6 内存计算
- Pipeline化的数据处理
- Back Pressure Mechanism
Back Pressure Mechanism
- 控制spit生成流程
- 控制operatorf的执行
1.targetConcurrency auto-scale-out
定时检查，如果OutputBuffers使用率低于0.5（下游消费较快，需要提高生产速度），并发度+1
2."sink.max-buffer-size"写入buffer的大小控制 "exchange.max-buffer-size"读取buffer的大小控制 达到最大值时Operator会进入阻塞状态
2.6.1 内存计算--Pipeline化数据处理
Pipeline（按LocalExchange拆分）：
Pipeline的引入更好的实现算子间的并行
语义上保证了每个Task内的数据流式处理
多数据源联邦查询
将各个数据源进行统一的抽象，最后由presto sever进行统一的物理执行
局限性
1.元数据管理与映射（每个connectori管理一套元 数据服务)
2.谓词下推
3.数据源分片
