Presto 架构原理与优化介绍 | 青训营笔记

Rainbow_Sea
156 阅读7分钟

这是我参与「第四届青训营 」笔记创作活动的的第7天

今天是大数据专场基础班的第七次课，主要内容是介绍Presto 架构原理与优化，主要分为下面四个板块。

一、 概述

1. 大数据与OLAP的演进

1.1 什么是大数据

  • 在信息化时代背景下，由于信息交互，信息存储，信息处理能力大幅增加而产生的数据

1.2 什么是OLAP

  • OLAP(OnLine Analytical Processing)： 对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI）应用程序背后的技术。现如今OLAP已经发展为基于数据库通过SQL对外提供分析能力

1.3 OLAP VS MapReduce

  • MapReduce代表了抽象的物理执行模型，使用门槛较高
  • 与Mapreduce Job相比，OLAP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化

1.4 OLAP 核心概念

  • 维度
  • 度量

image.png

1.5 常见的OLAP引擎

  • 预计算引擎:Kylin,Druid
  • 批式处理引擎:Hive,Spark
  • 流式处理引擎:Flink
  • 交互式处理引擎:Presto, Clickhouse, Doris

2. Presto设计思想

  • Presto最初是由Facebook 研发的构建于Hadoop/HDFS 系统之上的PB级交互式分析引擎,其具有如下的特点:
    1. 多租户任务的管理与调度
    2. 多数据源联邦查询
    3. 支持内存化计算
    4. Pipeline式数据处理

二、 Presto基础原理和概念

1. 基础概念的介绍

1.1 服务相关

  • Coordinator
    • 解析SQL语句
    • 生成执行计划
    • 分发执行任务给Worker节点
  • Worker
    • 执行Task处理数据
    • 与其他Worker交互传输数据

image.png

1.2 数据源相关

  • Connector
    • 一个Connector代表一种数据源，可以认为Connector是由Presto 提供的适配多数据源的统一接口
  • Catalog
    • 管理元信息与实际数据的映射关系

image.png

1.3 Query 相关

  • Query
    • 基于sQL parser后获得的执行计划
  • Stage
    • 根据是否需要shufile将Query拆分成不同的subplan，每一个subplan 便是一个stage
  • Fragment
    • 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价
  • Task
    • 单个Worker节点上的最小资源管理单元:在一个节点上,一个Stage 只有一个Task,一个Query可能有多个Task
  • Pipeline
    • Stage按照LocalExchange 切分为若干Operator集合,每个Operator集合定义一个Pipeline
  • Driver
    • Pipeline的可执行实体，Pipeline和Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator
  • split
    • 输入数据描述(数据实体是Page),数量上和Driver ——对应，不仅代表实际数据源split，也代表了不同stage间传输的数据
  • Operator
    • 最小的物理算子

1.4 数据传输相关

  • Exchange & LocalExchange
  • Exchange
    • 表示不同Stage 间的数据传输，大多数意义下等价于 Shuffle
  • LocalExchange
    • Stage内的rehash 操作，常用于提高并行处理数据的能力(Task在Presto中只是最小的容器，而不是最小的执行单元)

2. 核心组件架构介绍

2.1 Presto 架构图

image.png

2.2 服务发现

  • Discovery Service
    1. Worker配置文件配置Discovery Service地址
    2. Worker节点启动后会向Discovery Service注册
    3. Coordiantor 从Discovery Service获取Worker的地址

image.png

2.3 通信机制

  • 通信机制
    • Presto Client / JDBC Client与Server 间通信
      • Http
    • Coordinator 与Worker间的通信
      • Thrift / Http
    • Worker 与Worker 间的通信
      • Thrift / Http
  • Http 1.1 VS Thrift
    • Thrift具有更好的数据编码能力，Http 1.1还不支持头部信息的压缩，Thrift具有更好的数据压缩率

小结

  1. 从服务、数据源、Query、数据传输四个角度，介绍了Presto相关的基础概念
  • 服务、数据源、Query、数据传输包含哪些基本概念?
  • 如何衡量一个任务的并行度(Task并不是最小的执行单元)
  1. 通过服务发现、通信机制、节点状态三方面介绍了Coordinator与 Worker是如何协调和工作的

三、 Presto重要机制

1. 多租户资源管理

1.1 Resource Group

  • 类似Yarn多级队列的资源管理方式
  • 基于CPU、MEMORY、SQL执行数进行资源使用量限制 优点：
  • 轻量的Query 级别的多级队列资源管理模式 缺点：
  • 存在一定滞后性，只会对Group中正在运行的SQL进行判断

2. 多租户下的任务调度

2.1 Stage 调度

  • Stage的调度策略
    • AlIAtOnceExecutionPolicy
      • 同时调度
    • PhasedExecutionPolicy
      • 分阶段调度

2.2 Task 调度

  • Task调度
    • Task的数量如何确定
    • 选择什么样的节点(调度方式有那些)
  • Task的数量如何确定:
    • Source :根据数据meta决定分配多少个节点
    • Fixed: hash partition count确定，如集群节点数量
    • Sink:汇聚结果，一台机器
    • Scaled:无分区限制，可拓展，如write数据
    • Coordinator__Only:只需要coordinator参与

image.png

  • 选择什么样的节点
    • HARD_AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输
    • SOFT_AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker
    • PREFERENCE:随机选取，常用于普通的纯计算Task

2.3 Split调度

FIFO:顺序执行，绝对公平 优先级调度:快速响应

  1. 按照固定的时间片，轮训Split处理数据，处理1s，再重新选择一个Split执行
  2. Split间存在优先级
  • MultilevelSplitQueue

    • 5个优先级level理论上分配的时间占比为16:8:4:2:1 (2-based)

  • 优势:
  1. 优先保证小Query快速执行
  2. 保障大Query存在固定比例的时间片，不会被完全饿死

3. 内存计算

3.1 Pipeline化的数据处理

  • Pipeline(按LocalExchange 拆分) :
    • Pipeline的引入更好的实现算子间的并行
    • 语义上保证了每个Task内的数据流式处理

image.png

3.2 Back Pressure Mechanism

  • Back Pressure Mechanism
    • 控制split生成流程
    • 控制operator的执行

  1. targetConcurrency auto-scale-out

    定时检查,如果OutputBuffers使用率低于0.5(下游消费较快,需要提高生产速度)，并发度+1

  2. "sink.max-buffer-size"写入buffer的大小控制

    "exchange.max-buffer-size"读取buffer的大小控制达到最大值时Operator会进入阻塞状态

4. 多数据源联邦查询

将各个数据源进行统一的抽象，最后由presto server进行统一的物理执行

image.png

  • 局限性:
    1. 元数据管理与映射(每个connector管理一套元数据服务)
    2. 谓词下推
    3. 数据源分片

小结

展开介绍了如下的Presto重要机制:

  1. 多租户资源管理
  2. 多租户任务调度
  3. 内存计算
  4. 多数据源联邦查询

四、 性能优化实战

1. 常用性能分析工具

  • Grafana:埋点、系统指标如CPU、内存、网络等的可视化界面，时序化的数据展示
  • Java相关指令
    • Jstack查看Java线程栈信息，排查是否有死锁，或者异常线程存在
    • JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架，常用来做一些监控指标的统计收集
    • JMAP& GC日志等等内存分析工具
  • Arthas
    • Watch
    • Trace
  • Flame Figure/火焰图
    • 用于分析热点代码占用大量CPU ,从而导致服务性能下降的情况。如下图，自底向上为调用关系。上层宽度越宽表示当前函数CPU耗时越久，我们关注最宽的函数调用

2. 字节内部优化实战

2.1 Multi Coordinator

  1. 不可用时间从几分钟->3s内
  2. coordinator多活

image.png

2.2 History Server

  • 原始的Presto UI存储在内存中，无法长时间报错
  • History Server提供与Presto UI相同体验&持久化的数据存储

image.png

2.3 Support Remote UDF

  • 统一的UDF抽象，适配多引擎
  • 多租户的内核与网络隔离

image.png

2.4 RaptorX的多级缓存

  1. Metastore cache by version
  2. List file cache
  3. Fragament cache
  4. Alluxio cache

image.png

小结

  1. 介绍了常见的性能优化工具
  • Grafana
  • Java指令
  • Arthas
  • Flame Figure
  1. 具体案例分析
  2. 字节内部优化实战分享

引用参考

内容主要参考了张砚炳老师在「Presto 架构原理与优化介绍」课程里所教授的内容，同时也参考了学员手册里第一节的内容，图片来自于老师的PPT，链接如下：

  1. 【大数据专场 学习资料三】第四届字节跳动青训营 - 掘金 (juejin.cn)
  2. ​‌‍‬⁠⁡⁢⁣⁤Presto架构原理与优化介绍-张砚炳-ppt.pptx - 飞书文档 (feishu.cn)
avatar
文章
阅读
粉丝