这是我参与「第四届青训营 」笔记创作活动的的第7天

一、概述

大数据与OLAP的演进

• OLAP(OnLine Analytical Processing对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能(BI) 应用程序背后的技术。
• OLAP VS MapReduce
  • 1.MapReduce代表了抽象的物理执行模型，使用门]槛较高
  • 2.与Mapreduce Job相比，OL AP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一-的逻辑描述语言，实际的物理执行由具体的引|擎进行转换和优化。

常见的OLAP引擎:

• 预计算引擎: Kylin, Druid
• 批式处理引擎: Hive, Spark
• 流式处理引擎: Flink
• 交互式处理引擎: Presto, Clickhouse, Doris

Presto设计思想

Presto最初是由Facebook研发的构建于Hadoop/HDFS系统之.上的PB级交互式分析引擎，其具有如下的特点:

• 多租户任务的管理与调度
• 多数据源联邦查询
• 支持内存化计算
• Pipeline式数据处理

二、Presto基础原理与概念

• Coordinator
  • 解析SQL语句
  • 生成执行计划
  • 分发执行任务给Worker节点
• Worker
  • 执行Task处理数据
  • 与其他Worker交互传输数据

基础概念介绍数据源相关

• Connector:

一个Connector代表种数据源。可以认为Connector是由Presto提供的适配多数据源的统一接口。

• Catalog:

管理元信息与实际数据的映射关系。

基础概念个绍-Query相关

• Query

基于SQL parser后获得的执行计划

• Stage

根据是否需要shuffle 将Query拆分成不同的subplan,每一个subplan便是一个stage

• Fragment

基本等价于Stage,属于在不同阶段的称呼，在本门课程可以认为两者等价

• Task

单个Worker节点上的最小资源管理单元:在一个节点 上，一个Stage只有一个Task,一个Query可能有多 个Task

• Pipeline

Stage按照LocalExchange切分为若干Operator集合，每个Operator集合定义一个Pipeline.

• Driver

Pipeline的可执行实体，Pipeline和Driver的关系可类比程序和进程，是 最小的执行单元，通过火山迭代模型执行每个Operator.

• Split

输入数据描述(数据实体是Page),数量上和Driver对应，不仅代表实际数据源split,也代表了不同stage间传输的数据。

• Operator

最小的物理算子。

三、Presto重要机制

多租户资源管理- Resource Group

Resource Group

类似Yarn多级队列的资源管理方式基于CPU、MEMORY、SQL 执行数进行资源使用量限制

• 优点

轻量的Query级别的多级队列资源管理模式

• 缺点

存在一定滞后性，只会对Group中正在运行的SQL进行判断

多租户下的任务调度-物理计划生成

• 解析生成AST
• 转换成Logical Plan
• 按照是否存在Shuffle (Exchange),切分成不同的Stage (Fragment)

多租户下的任务调度

• Stage 调度
• Task调度
• Split 调度

内存计算

• Pipeline化的数据处理
• Back Pressure Mechanism