Presto 架构原理与优化介绍 | 青训营笔记

小叶要努力
384 阅读7分钟

image.png

这是我参与「第四届青训营 」笔记创作活动的的第7天

01.Presto概述

Hadoop：基于廉价机器的存算分离的大规模分布式处理系统（cpu性能好的进行计算，差的进行存储）

1.谷歌在2003、2004年发布Google File System论文，Mapreduce论文

2.2008年，Hadoop成为apache顶级项目

OLAP对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。

常见的OLAP引擎：

  • 预计算引擎: Kylin,Druid
  • 批式处理引擎: Hive,Spark
  • 流式处理引擎: Flink
  • 交互式处理引擎: Presto,Clickhouse,Doris

Presto 最初是由Facebook研发的构建于Hadoop/HDFS系统上的PB级交互式分析引擎。

特点:

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • Pipeline式数据处理

02.Presto 基础原理与概念

Presto 基础概念-服务

  • Coordinator（负责调度）：

    • 解析SQL语句
    • ⽣成执⾏计划
    • 分发执⾏任务给Worker节点执⾏

  • Worker 1659495953183.png 在一个presto集群中，存在一个coordinator节点和多个worker节点，coordinator节点是管理节点，而worker节点就是工作节点，在每个worker节点上都会存在一个worker服务进程，该服务进程主要进行数据的处理以及task的执行，worker服务进程每隔一定的时间都会向coordinator上的服务发送心跳，接受调度。当客户端提交一个查询的时候，coordinator则会从当前存活的worker列表中选择出适合的worker节点去运行task，而worker在执行每个task的时候又会进一步对当前task读入的每个split进行一系列的操作和处理

  • Discovery Service（将coordinator和woker结合到一起的服务）:

    • Worker节点启动后向Discovery Server服务注册
    • Coordinator从Discovery Server获得Worker节点

所有的worker都把自己注册到Discovery Server上，Discovery Server是一个发现服务的service，Discovery Server发现服务之后，coordinator便知道在集群中有多少个worker能够工作，分配工作到worker时便有了根据。

Presto基础概念-数据源

  • Connector Presto 通过Connector来支持多数据源，一个Connector代表一种数据源，Connector是适配器，用于Presto和数据源（如Hive、RDBMS）的连接，每个catalog都有一个特定的Connector，一个或多个catelog用同样的connector是访问同样的数据库。
  • Catalog 就是数据源。每个数据源连接都有一个名字，一个Catalog可以包含多个Schema，大家可以通过show catalogs 命令看到Presto已连接的所有数据源。
  • schema 相当于一个数据库实例，一个Schema包含多张数据表。通过以下方式可列出catalog_name下的所有 Schema：show schemas from 'catalog_name'
  • Table 数据表，与RDBMS上的数据库表意义相同。通过以下方式可查看'catalog_name.schema_name'下的所有表：show tables from 'catalog_name.schema_name'

Presto基础概念-Query部分

  • Query 当Presto解析一个语句时，它将其转换为一个查询，并创建一个分布式查询计划（多个互信连接的stage，运行在Worker上）。如果想获取Presto的查询情况，则获取每个组件（正在执行这语句的结点）的快照。查询和语句的区别是，语句是存SQL文本，而查询是配置和实例化的组件。
  • Stage 当Presto执行查询时，会将执行拆分为有层次结构的stage。例如，从hive中的10亿行数据中聚合数据，此时会创建一个用于聚合的根stage，用于聚合其他stage的数据。层次结构的stage类似一棵树。每个查询都由一个根stage，用于聚合其他stage的数据。stage是Coordinator的分布式查询计划（distributed query plan）的模型，stage不是在worker上运行。
  • Fragment 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价
  • Task 单个worker节点上的最小资源管理单元，一个stage只有一个Task,一个Query可能有多个Task。由于stage不是在worker上运行。stage又会被分为多个task，在不同的work上执行。Task是Presto结构里是“work horse”。一个分布式查询计划会被拆分为多个stage，并再转为task，然后task就运行或处理split。Task有输入和输出，一个stage可以分为多个并行执行的task，一个task可以分为多个并行执行的driver。
  • Pipeline Stage 按照 LocalExchange 切分为若干 Operator 集合, 每个 Operator 集合定义一个 Pipeline
  • Driver Task包含一个或多个并行的driver。Driver在数据上处理，并生成输出，然后由Task聚合，最后传送给stage的其他task。一个driver是Operator的序列。driver是Presto最最低层的并行机制。一个driver有一个输出和一个输入。
  • Split Task运行在split上。split是一个大数据集合中的一块。分布式查询计划最底层的stage是通过split从connector上获取数据，分布式查询计划中间层或顶层则是从它们下层的stage获取数据。
  • Operator Operator消费，传送和生产数据。如一个Operator从connector中扫表获取数据，然后生产数据给其他Operator消费。一个过滤Operator消费数据，并应用谓词，最后生产出子集数据。

Presto基础概念-数据传输部分

  • Exchange Exchange在Presto结点的不同stage之间传送数据。Task生产和消费数据是通过Exchange客户端，表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle。
  • LocalExchange Stage内的 rehash 操作，常用于提高并行处理数据的能力。（Task在presto中只是最小的容器，而不是最小的执行单元）

###如何衡量某个任务某个Stage的真实并行度？

1659496800563.png

在不同Pipenline下Split(Driver)的数目之和

Presto基础概念-核心组件架构介绍

Presto架构图

1659496969826.png

03.Presto 重要机制

多租户资源管理

Resource Group

· 类似于Yarn多级队列的资源管理方式

· 基于CPU、MEMORY、SQL执行数进行资源使用量限制

优点: 轻量的Query级别的多级队列资源管理模式

缺点: 存在一定的滞后性，只会对Group中正在运行的SQL进行判断

多租户下的任务调度

物理计划生成

1.Antlr4解析生成AST

2.转换成Logical Plan

3.按照是否存在Shuffle，切分成不同的Stage

image.png

任务调度

  • Stage调度
    同时调度策略和分阶段调度
  • Task调度
    Task的数量与节点的确定
  • Split调度
    FIFO
    优先级调度：快速响应

内存计算

· Pipeline化的数据处理：更好的实现算子间的并行，保证了每个Task内的数据流式处理
· Back pressure Mechanism：控制split生成流程与operator的执行

多数据源联邦查询

将各个数据源进行统一的抽象，最后由presto server进行统一的物理执行。

1659500320500.png

局限性：

  • 元数据管理与映射
  • 调词下推
  • 数据源分片

04.性能优化实战

常用性能分析工具

  • Grafana:埋点，系统指标如CPU、内存、网络等可视化界面、时序化的数据展示
  • java相关指令：Jstack、JMX、JMAP&&GC日志等等内存分析工具
  • Arthas 如：watch、Trace
  • 线上问题排查工具：Flame Figure/火焰筒
  • Presto UI

1659501417172.png

具体案例分析

字节内部优化实战

Multi Coordinator

1.Coordinator单节点稳定性差 2.单节点会成为集群性能瓶颈

image.png 优点：1.不可用时间从几分钟->3s内；2.多活状态，同时处理不同用户的sql，压力分担

History Server

√原始的Presto U存储在内存中无法长时间报错
√ History Server提供与Presto UI相同体验&持久化的数据存储

image.png

Support Remote UDF

1.统一的UDF抽象，适配多引擎
2.多租户的内核与网络隔离

image.png

RaptorX的多级缓存

1.Metastore cache by version
2.List file cache
3.Fragament cache
4.Alluxio cache

image.png

avatar
文章
阅读
粉丝