这是我参与「第四届青训营」笔记创作活动的的第9天！
前言
Presto 基础概念-服务
Presto可以使用分布式查询有效地查询大量数据。Presto是为了处理TB/PB级别的数据查询和分析，它是OLAP(Online Analytical Processing)领域的一个计算引擎，Presto被设计为替代使用 MapReduce 作业管道（如Hive或 Pig）查询HDFS的工具，但Presto不限于访问HDFS。Presto可以并且已经被扩展为在不同类型的数据源上运行，包括传统的关系数据库和其他数据源，如Cassandra。
Coordinator（负责调度）：
解析SQL语句 ⽣成执⾏计划 分发执⾏任务给Worker节点执⾏ Worker 在一个presto集群中，存在一个coordinator节点和多个worker节点，coordinator节点是管理节点，而worker节点就是工作节点，在每个worker节点上都会存在一个worker服务进程，该服务进程主要进行数据的处理以及task的执行，worker服务进程每隔一定的时间都会向coordinator上的服务发送心跳，接受调度。当客户端提交一个查询的时候，coordinator则会从当前存活的worker列表中选择出适合的worker节点去运行task，而worker在执行每个task的时候又会进一步对当前task读入的每个split进行一系列的操作和处理
Discovery Service（将coordinator和woker结合到一起的服务）: Worker节点启动后向Discovery Server服务注册 Coordinator从Discovery Server获得Worker节点 所有的worker都把自己注册到Discovery Server上，Discovery Server是一个发现服务的service，Discovery Server发现服务之后，coordinator便知道在集群中有多少个worker能够工作，分配工作到worker时便有了根据。
Presto基础概念-数据源
Connector Presto通过Connector来支持多数据源，一个Connector代表一种数据源，Connector是适配器，用于Presto和数据源（如Hive、RDBMS）的连接，每个catalog都有一个特定的Connector，一个或多个catelog用同样的connector是访问同样的数据库。 Catalog 就是数据源。每个数据源连接都有一个名字，一个Catalog可以包含多个Schema，大家可以通过show catalogs 命令看到Presto已连接的所有数据源。 schema 相当于一个数据库实例，一个Schema包含多张数据表。通过以下方式可列出catalog_name下的所有 Schema：show schemas from 'catalog_name' Table 数据表，与RDBMS上的数据库表意义相同。通过以下方式可查看'catalog_name.schema_name'下的所有表：show tables from 'catalog_name.schema_name'
Presto基础概念-Query部分
Query 当Presto解析一个语句时，它将其转换为一个查询，并创建一个分布式查询计划（多个互信连接的stage，运行在Worker上）。如果想获取Presto的查询情况，则获取每个组件（正在执行这语句的结点）的快照。查询和语句的区别是，语句是存SQL文本，而查询是配置和实例化的组件。 Stage 当Presto执行查询时，会将执行拆分为有层次结构的stage。例如，从hive中的10亿行数据中聚合数据，此时会创建一个用于聚合的根stage，用于聚合其他stage的数据。层次结构的stage类似一棵树。每个查询都由一个根stage，用于聚合其他stage的数据。stage是Coordinator的分布式查询计划（distributed query plan）的模型，stage不是在worker上运行。 Fragment 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价 Task 由于stage不是在worker上运行。stage又会被分为多个task，在不同的work上执行。Task是Presto结构里是“work horse”。一个分布式查询计划会被拆分为多个stage，并再转为task，然后task就运行或处理split。Task有输入和输出，一个stage可以分为多个并行执行的task，一个task可以分为多个并行执行的driver。 Pipeline Stage 按照 LocalExchange 切分为若干 Operator 集合, 每个 Operator 集合定义一个 Pipeline Driver Task包含一个或多个并行的driver。Driver在数据上处理，并生成输出，然后由Task聚合，最后传送给stage的其他task。一个driver是Operator的序列。driver是Presto最最低层的并行机制。一个driver有一个输出和一个输入。 Split Task运行在split上。split是一个大数据集合中的一块。分布式查询计划最底层的stage是通过split从connector上获取数据，分布式查询计划中间层或顶层则是从它们下层的stage获取数据。 Operator Operator消费，传送和生产数据。如一个Operator从connector中扫表获取数据，然后生产数据给其他Operator消费。一个过滤Operator消费数据，并应用谓词，最后生产出子集数据。
Presto基础概念-数据传输部分
Exchange Exchange在Presto结点的不同stage之间传送数据。Task生产和消费数据是通过Exchange客户端，表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle。 LocalExchange Stage内的 rehash 操作，常用于提高并行处理数据的能力。（Task在presto中只是最小的容器，而不是最小的执行单元）
概述
大数据与OALP系统的演进
什么是大数据
关于大数据我们参考马丁·希尔伯特的总结：大数据其实是在2000年后，因为信息化的快速发展、信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。
信息交换
通信和网络带宽的大幅增长
信息存储
计算机存储量的大幅增长
信息处理
整理、转换、分析数据的能力大幅增长
Hadoop：基于廉价机器的存算分离的大规模分布式处理系统（cpu性能好的进行计算，差的进行存储）
1.谷歌在2003、2004年发布Google File System论文，Mapreduce论文
2.2008年，Hadoop成为apache顶级项目
OLAP对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。
常见的OLAP引擎：
预计算引擎: Kylin,Druid 批式处理引擎: Hive,Spark 流式处理引擎: Flink 交互式处理引擎: Presto,Clickhouse,Doris
Presto 设计思想
Presto 最初是由Facebook研发的构建于Hadoop/HDFS系统上的PB级交互式分析引擎。
特点:
多租户任务的管理与调度 多数据源联邦查询 支持内存化计算 Pipeline式数据处理
Presto 基础原理与概念
此处可以查阅上篇文章 Presto 架构原理与优化介绍课前学习|青训营笔记 - 掘金 (juejin.cn)
Presto 重要机制
多租户资源管理
Resource Group
· 类似于Yarn多级队列的资源管理方式
· 基于CPU、MEMORY、SQL执行数进行资源使用量限制
优点: 轻量的Query级别的多级队列资源管理模式
缺点: 存在一定的滞后性，只会对Group中正在运行的SQL进行判断
多租户下的任务调度
物理计划生成 1.Antlr4解析生成AST
2.转换成Logical Plan
3.按照是否存在Shuffle，切分成不同的Stage
任务调度
Stage调度 调度策略和分阶段调度 Task调度 Task的数量与节点的确定 Split调度 FIFO 优先级调度：快速响应 内存计算 · Pipeline化的数据处理：更好的实现算子间的并行，保证了每个Task内的数据流式处理 · Back pressure Mechanism：控制split生成流程与operator的执行
多数据源联邦查询
将各个数据源进行统一的抽象，最后由presto server进行统一的物理执行。
局限性：
元数据管理与映射 调词下推 数据源分片
