Presto架构原理与优化介绍 | 青训营笔记

林路
237 阅读6分钟

这是我参与「第四届青训营 」笔记创作活动的第4天

一.概述

1.大数据与OLAP的演进

image.png

(1)Hadoop：基于廉价机器的存算分离的大规模分布式处理系统
(2)OLAP：对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力，是许多商务智能（BI）应用程序背后的技术。

  • OLAP核心概念：维度 度量
  • 常见的OLAP引擎：预计算引擎：Kylin,Druid
  • 批式处理引擎：Hive,Spark
  • 流式计算引擎：Flink
  • 交互式处理引擎：Presto,Clickhouse,Doris (3)OLAP VS MapReduce MapReduce代表了抽象的物理执行模型，使用门槛较高 与MapReduce Job相比，OLAP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化

2.Presto特点：

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • Pipeline式数据处理

二.Presto基础原理和概念

  • Coordinator
  • 解析SQL语句
  • 生成执行计划
  • 分发执行任务给worker节点
  • Worker
  • 执行Task处理数据
  • 与其他Worker交互传输数据

1.数据源相关概念

  • Connector：一个Connector代表一种数据源。可以认为Connector是由Presto提供的适配多数据源的统一接口。
  • Catalog：管理元信息与实际数据的映射关系。

image.png

2.Query相关

  • Query：基于SQL parser后获得的执行计划
  • Stage：根据是否需要shuffle将Query拆分成不同subplan,每一个subplan便是一个stage
  • Fragment：基本等价于Stage，属于在不同阶段的称呼
  • Task：单个worker节点上的最小资源管理单元，在一个节点上，一个Stage只有一个Task，一个Query可能有多个Task
  • Pipeline：Stage按照LocalExchange切分为若干Operator集合，每个Operator集合定义一个Pipeline
  • Driver：Pipeline的可执行实体，pipeline和Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator
  • Spilt：输入数据描述（数据实体是Page），数量上和Driver一一对应，不仅代表实际数据源spilt，也代表了不同stage间传输的数据
  • Operator：最小的物理算子

image.png

3.数据传输相关

  • Exchange：表示不同Stage间的数据传输，大多数意义下等价于shuffle
  • LocalExchange：Stage内的rehash操作，常用于提高并行处理数据的能力（Task在Presto中只是最小的容器，而不是最小的执行单元，默认数值是16）

image.png

4.多租户下的任务调度

Q：如何衡量某个任务某个stage的真实并行度
A：在不同Pipeline下spilt（Driver）的数目之和

image.png

image.png

5.核心组件架构介绍

(1)Presto架构图

image.png (2)服务发现（Discovery Service）:

  • worker配置文件配置Discovery Service地址
  • worker节点启动会向Discovery Service注册
  • Coordiantor从Discovery Service获取worker的地址

image.png (3)通信机制

  • Presto Client/JDBC Client与Server间通信：Http
  • Coordinator与Worker间的通信：Thrift/Http
  • Worker与Worker间调度通信：Thrift/Http
  • Http 1.1 VS Thrift：Thrift具有更好的数据编码能力，Http1.1还不支持头部信息的压缩，Thrift具有更好的数据压缩率 (4)节点状态：ACTIVE/INACTIVE/SHUTDOWN (5)Graceful Shutdown:

image.png

三.Presto重要机制

1.多租户资源管理： (1)Case介绍： 假设用户提交一个sql:

  • 提交方式：Presto-cli
  • 提交用户：
  • 提交SQL：select customer_type,avg(cost) as a form test_table group by customer_type order by a limit 10; (2)Resource Group:
  • 类似Yarn多级队列的资源管理方式
  • 基于CPU、MEMORY、SQL执行数进行资源使用量限制
  • 优点：轻量的Query级别的多级队列资源管理模式
  • 缺点：存在一定滞后性，只会对Group中正在运行的sql进行判断

image.png

image.png

image.png 2.多租户下的任务调度 (1)物理计划生成：

  • Antlr4解析生成AST
  • 转换成Logical Plan
  • 按照是否存在Shuffle(Exchange)，切分成不同的Stage(Fragment)

image.png (2)stage调度:

  • 同时调度：延迟点，会存在任务空跑
  • 分阶段调度：有一定延迟，节省部分资源（不代表每个stage都分开调度） 典型的应用场景（join查询）：
  • Build端：右表构建用户join的hashtable
  • Probe端：对用户左表数据进行探查，需要等待build端完成
  • Build端构建hashtable端时，probe端是一直在空跑的

image.png (3)Task调度 Task的数量如何确定：

  • Source:根据数量meta决定分配多少个节点
  • Fixed:hash partition count确定，如集群节点数量
  • Sink:汇聚结果，一台机器
  • Scaled:无分区限制，可拓展，如write数据
  • Coordinator_Only:只需要coordinator参与

image.png 选择什么样的节点：

  • HARD_AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输
  • SOFT_AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker
  • NO_PREFERENCE:随机选取，常用于普通的纯计算Task (4)spilt调度 FIFO:顺序执行，绝对公平
  • 按照固定的时间片，轮训Spilt处理数据，处理1s，再重新选择一个spilt执行
  • spilt间存在优先级
  • MultileveSpiltQueue:5个优先级理论上分配的时间占比为16:8:4:2:1
  • 优势：
    ①优先保证小query快速执行
    ②保障大query存在固定比例的时间片，不会被完全饿死 3.内存计算 (1)Pipeline化数据处理
  • Pipeline的引入更好的实现算子间的并行
  • 语义上保证了每个Task内的数据流式处理

image.png (2)Back Pressure Mechanism

  • targetConcurrency auto-scale-out:定时检查，如果OutputBuffers使用率低于0.5(下游消费较快，需要提高生产速度),并发度加一
  • "sink.max-buffer-size"写入buffer的大小控制:"exchange,max-buffer-size"读取buffer的大小控制，达到最大值时Operator会进入阻塞状态 4.多数据源联邦查询： (1据源进行统一的抽象，最后由presto server进行统一的物理执行

image.png (2)局限性：

  • 元数据管理与映射（每个connector管理一套元数据服务）
  • 谓词下推
  • 数据源分片

四.性能优化实战

1.常用性能分析工具 (1)Grafana:埋点、系统指标如CPU、内存、网络等的可视化界面，时许化的数据展示

image.png

image.png (2)Java相关指令：

  • Jstack查看Java线程栈信息，排查是否有死锁，或者异常线程存在
  • JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架，常用来做一些监控指标的统计收集
  • JMAP & GC日志等等内存分析工具

image.png (3)线上问题排查工具： Arthas

  • Watch
  • image.png
  • Trace

image.png Flame Figue火焰图：用于分析热点代码占用大量CPU，从而导致服务性能下降的情况。如图，自底向上为调用关系。上层宽度表示当前函数CPU耗时越久，我们关注最宽的函数调用。

image.png Presto UI

  • Query级别统计信息
  • Logical plan
  • Stage、Task信息
  • Worker状态信息 image.png
avatar
文章
阅读
粉丝