Presto架构基本原理 | 青训营笔记

melody_q
161 阅读4分钟

这是我参与「第四届青训营 」笔记创作活动的第9天

今天学习的内容是关于Presto架构的基本原理及优化，由于篇幅原因，接下来主要介绍一下Presto架构的基本原理。

一、大数据与OLAP

1、大数据是指在信息化时代背景下，由于信息交互，信息存储，信息处理能力大幅增加而产生的数据。

2、OLAP（Online Analytical Processing）对业务数据执行对维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI）应用程序背后的技术。现如今OLAP已经发展为基于数据库通过SQL对外提供分析能力。

常见的OLAP架构分为三类：

  • ROLAP（Relational OLAP）是直接使用关系模型构建，因为早期OLAP概念提出的时候是建立在关系型数据库之上的。，多维分析的操作，可以直接转换成SOL查询。

  • MOLAP（Multidimensional OLAP）,一般称为多维型OLAP，它可以缓解ROLAP性能问题，使用多维数组的形式保存数据。核心思想就是采用空间换取时间的形式，预先聚合结果来提高查询性能。 首先，对需要分析的数据进行建模，框定需要分析的维度字段；然后，通过预处理的形式，对各种维度进行组合并事先聚合；最后，将聚合结果以某种索引或者缓存的形式保存起来（通常只保留聚合后的结果，不存储明细数据）。这样一来，在随后的查询过程中，就可以直接利用结果返回数据。但是这种架构也并不完美。维度预处理可能会导致数据的膨胀

  • HOLAP（Hybrid OLAP）这种架构思想可谓是上面两种架构思想的混合，这种思想对于具体的了解、实现现在还不多。

二、Presto基本概念和原理

1、Presto最初是由facebook研发的构建于Hadoop/HDFS系统之上的PB级交互式分析引擎，其具有如下的特点：

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • pipeline式数据处理

2、Presto基础架构

image.png 2.1、Presto基础概念主要可以分为哪几类？

服务相关概念

  • Coordinator（负责调度）：

    • 解析SQL语句
    • ⽣成执⾏计划
    • 分发执⾏任务给Worker节点执⾏

  • Worker

在一个presto集群中，存在一个coordinator节点和多个worker节点，coordinator节点是管理节点，而worker节点就是工作节点，在每个worker节点上都会存在一个worker服务进程，该服务进程主要进行数据的处理以及task的执行，worker服务进程每隔一定的时间都会向coordinator上的服务发送心跳，接受调度。当客户端提交一个查询的时候，coordinator则会从当前存活的worker列表中选择出适合的worker节点去运行task，而worker在执行每个task的时候又会进一步对当前task读入的每个split进行一系列的操作和处理

  • Discovery Service（将coordinator和woker结合到一起的服务）:

    • Worker节点启动后向Discovery Server服务注册
    • Coordinator从Discovery Server获得Worker节点

所有的worker都把自己注册到Discovery Server上，Discovery Server是一个发现服务的service，Discovery Server发现服务之后，coordinator便知道在集群中有多少个worker能够工作，分配工作到worker时便有了根据。

数据源相关概念

  • Connector

Presto通过Connector来支持多数据源，一个Connector代表一种数据源，如Hive Connector代表了对Hive数据源的支持。可以认为Connector是由Presto提供的适配多数据源的统一接口

  • Catalog

针对不同的数据源，Connector和Catalog是一一对应的关系，Catalog包含了schema和data source的映射关系。

Query相关概念

  • Query

基于SQL parser后获得的执行计划

  • Stage

根据是否需要shuffle将Query拆分成不同的subplan，每一个subplan便是一个stage

  • Fragment

基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价

  • Task

单个 Worker 节点上的最小资源管理单元: 在一个节点上, 一个 Stage 只有一个 Task, 一个 Query 可能有多个Task

  • Pipeline

Stage 按照 LocalExchange 切分为若干 Operator 集合, 每个 Operator 集合定义一个 Pipeline

  • Driver

Pipeline 的可执行实体 , Pipeline 和 Driver 的关系可类比 程序和进程 ，是最小的执行单元，通过 火山迭代模型执行每一个Operator

  • Split

输入数据描述(数据实体是 Page), 数量上和 Driver 一一对应，不仅代表实际数据源split，也代表了不同stage间传输的数据

  • Operator

最小的物理算子

数据传输相关概念

  • Exchange

表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle

  • LocalExchange

Stage内的 rehash 操作，常用于提高并行处理数据的能力（Task在presto中只是最小的容器，而不是最小的执行单元）

avatar
文章
阅读
粉丝