这是我参与「第四届青训营 」笔记创作活动的第7天
OLAP(Online Analytical Processing) 介绍
- 对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力；
- 是许多商务智能（BI）应用程序背后的技术；
- 现在发展为基于数据库通过SQL对外提供分析能力；
- 从纬度和度量两个角度分析数据。
OLAP VS MapReduce
- MapReduce 代表了抽象的物理执行模型，使用门槛较高
- 与MapReduce Job相比，OLAP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化
常见的OLAP引擎
- 预计算引擎: Kylin, Druid
- 批式处理引擎: Hive, Spark
- 流式处理引擎: Flink
- 交互式处理引擎: Presto, Clickhouse, Doris
Presto设计思想
Presto最初是由Facebook研发的构建于Hadoop/HDFS系统之上的PB级交互式分析引擎，其具有如下的特点：
- 多租户任务的管理与调度
- 多数据源联邦查询
- 支持内存化计算
- Pipeline式数据处理
Presto基础原理与概念
服务相关：
- Coordinator
- 解析SQL语句
- 生成执行计划
- 分发执行任务给Worker节点
- Worker
- 执行Task处理数据
- 与其他Worker交互传输数据
数据源相关：
- Connector：
- 一个Connector代表一种数据源。可以认为Connector是由Presto提供的适配多数据源的统一接口。
- Catalog：
- 管理元信息与实际数据的映射关系。
基础概念介绍
Query相关：
- Query
基于SQL parser后获得的执行计划。 - Stage
根据是否需要shuffle 将Query拆分成不同的subplan， 每一个subplan便是一个stage。 - Fragment
基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价。 - Task
单个Worker节点上的最小资源管理单元: 在一个节点上，一个Stage只有一个Task，一个Query可能有多个Task。 - Pipeline
Stage按照LocalExchange切分为若干Operator集合，每个Operator集合定义一个Pipeline。 - Driver
Pipeline的可执行实体，Pipeline和Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每个Operator。 - Split
输入数据描述(数据实体是Page),数量上和Driver一一对应，不仅代表实际数据源split，也代表了不同stage间传输的数据。 - Operator
最小的物理算子。
数据传输相关：
- Exchange：
- 表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle。
- LocalExchange：（默认数值是 16）
- Stage 内的 rehash 操作，常用于提高并行处理数据的能力（Task 在 Presto 中只是最小的容器，而不是最小的执行单元）
衡量某个任务某个 Stage 的真实并行度
在不同的 Pipeline 下 Split（Driver）的数目之和是否一致。
Presto重要机制
多租户资源管理- Resource Group
类似Yarn多级队列的资源管理方式；基于CPU、MEMORY、SQL 执行数进行资源使用量限制
- 优点
轻量的Query级别的多级队列资源管理模式 - 缺点
存在一定滞后性，只会对Group中正在运行的SQL进行判断
多租户下的任务调度
- Stage调度：同时调度;分阶段调度
- Task调度：确定每个worker上的task的数量和节点的选择
- Split调度：
- FIFO：顺序执行，绝对公平；
- 优先级调度：快速响应
内存计算
- Pipeline化的数据处理：更好的实现算子间的并行；语义上保证了每个Task内的数据流式处理
- Back pressure Mechanism：控制split生成流程；控制operator的执行
多数据源联邦查询
将各个数据源进行统一的抽象，最后由presto server进行统一的物理执行。
