Presto 架构原理与优化介绍|青训营笔记

顾七愿
83 阅读6分钟

这是我参与「第四届青训营 」笔记创作活动的第7天

Presto 架构原理与优化介绍

基本内容：

  • 大数据与 OLAP 的演进之路
  • Presto 的设计理念
  • Presto 基础概念的介绍
  • 核心组件架构介绍
  • 多租户资源管理
  • 多租户下的任务调度
  • 内存计算
  • 多数据源联邦查询
  • 常用性能分析工具
  • 具体案例分析
  • 字节内部优化实战

概述

大数据与 OLAP 的演进之路

Hadoop：基于廉价机器的存算分离的大规模分布式处理系统

OLAP (OnLine Analytical Processing) 对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI）应用程序背后的技术。

OLAP核心概念：维度、度量

常见OLAP引擎：

  • 预计算引擎: Kylin,Druid
  • 批式处理引擎: Hive,Spark
  • 流式处理引擎: Flink
  • 交互式处理引擎: Presto,Clickhouse,Doris

Presto 的设计思想

特点：

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • Pipeline式数据处理

小结

1.介绍了大数据与 OLAP 系统的演进

2.认识了 Presto，了解 Presto相关设计理念

Presto基础原理和概念

基础概念介绍

基础概念介绍--服务介绍

1.jpg

  • Coordinator
    • 解析SQL语句
    • 生成执行计划
    • 分发执行任务给Worker节点
  • Worker
    • 执行Task处理数据
    • 与其他Worker交互传输数据

基础概念介绍--数据源相关

1.jpg

  • Connector
    • 一个connector代表一种数据源，可以认为Connector是由Presto提供的适配多数据源的统一接口
  • Catalog
    • 管理元信息与实际数据的映射关系

基础概念介绍--Query相关

  • Query
    • 基于SQL parser后获得的执行计划
  • Stage
    • 根据是否需要shuffle将Query拆分成不同的subplan,每一个subplan就是一个stage
  • Fragment:
    • 基本等价于Stage,属于在不同阶段的称呼
  • Task
    • 单个Worker节点上的最小资源管理单元：在一个节点上，一个Stage只有一个Task,一个Query可能有多个Task
  • Pipeline
    • Stage按照LocalExchange切分为若干个Operator集合，每个Operator集合定义一个Pipeline
  • Driver
    • Pipeline的可执行实体，Pipeline和Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator
  • Split
    • 输入数据描述（数据实体是Page），数量上和Driver一一对应，不仅代表实际数据源spilt,也代表了不同stage间传输的数据
  • Operator
    • 最小的物理算子

基础概念介绍--数据传输相关

  • Exchange
    • 表示不同Stage间的数据传输，大多数意义下等价于Shuffle
  • LocalExannge
    • Stage内的rehash操作，常用于提高并行处理数据的能力（Task在Presto中只是最小的容器，而不是最小的执行单元）默认数值是16

多租户下的任务调度--数据传输相关

如何衡量某个任务某个Stage的真实并行度？ 在不同Pipeline下Split(Driver)的数目之和

核心组件架构介绍

da0c7b0c3d54923e0ba82026bbeaec3.png

核心组件架构介绍--服务介绍

  1. Worker配置文件配置Discovery Service地址
  2. Worker节点启动后会向Discovery Service注册
  3. Coordiantor从Discovery Service获取Worker的地址

核心组件架构介绍--通信机制

  1. Presto Clinent/JDBC Client与Service间通信
  • Http
  1. Coordinator与Worker间的通信
  • Thrift/Http
  1. Worker与Worker间的通信
  • Thrift/Http

Http 1.1 VS Thrift:

Thrift（rpc框架）

Thrift具有更好的数据编码能力，Http1.1还不支持头部信息的压缩，Thrift具有更好的数据压缩率

节点状态：

  • ACTIVE:活跃
  • INACTIVE：不活跃
  • SHUTDOWN：想要关闭但是还可以处理作业的状态

小结

  1. 从服务、数据源、Query，数据传输四个角度，介绍了 Presto 相关的基础概念

  • 服务、数据源、Query、数据传输包含哪些基本概念?

  • 如何衡量一个任务的并行度(Task并不是最小的执行单元)

  1. 通过服务发现、通信机制、节点状态三方面介绍了 Coordinator 与 Worker 是如何协调和工作的

Presto重要机制

多租户资源管理

多租户资源管理--Resoure Group

  • 类似Yarn多级队列的资源管理方式
  • 基于CPU\MEMORY\SQL执行数进行资源使用量限制

优点：轻量级（根据配置文件可以自动生成队列，不需要提前创建队列）

缺点：存在一定滞后性，只会对Group中正在运行的SQL进行判断

多租户下的任务调度--物理计划生成

  1. Antlr4解析生成AST

  2. 转换成Logical Plan

  3. 按照是否存在Shuffle,切分成不同的Stage

1.jpg

多租户下的任务调度

多租户下的任务调度--Stage调度

  • AllAtOnceExecutionPolicy(同时调度)
    • 延迟低，会存在任务空跑
  • PhasedExecutionPolicy（分阶段调度）
    • 不代表每个Stage都分开调度
    • 有一定延迟、节省部分资源
    • 典型的应用场景（join查询）
      • Build端：右表构建用户join的hashable
      • Probe端：对左表数据进行探查，需要等待build端完成
      • Build端构建hashtable端时，probe端是一直在空跑的

多租户下的任务调度--Task调度

Task的数量的确定：

  • Source:根据数据meta决定分配多少个节点
  • Fixed:hash partition count确定
  • Sink:汇聚结果，一台机器
  • Scaled:无分区限制，可扩展，如write 数据
  • Coordinator_Only:只需要coordinator参与

节点的选择

  • HARD_AFFINITY:计算，存储Local模式，保障计算与存储在同一个节点，减少数据传输
  • SOFT_AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker
  • NO_PREFRENCE:随机选取，常用于普通的纯计算Task

多租户下的任务调度-Split调度

FIFO：顺序执行，绝对公平。优先级调度：快速响应

  1. 按照固定的时间片，轮训Split处理数据，处理1S，再重新选择一个split执行
  2. Split间存在优先级

MultilevelSpiltQueue：

5个优先级level理论上分配的实践占比为16：8：4：2：1（2-based）

优势：

  1. 优先保证小Query快速执行
  2. 保障大Query存在固定比例的时间片，不会被完全饿死

内存计算

内存计算--Pipeline化的数据处理

Pipeline化的数据处理

  • pipeline的引入更好的实现算子间的并行
  • 语义上保证了每个Task内数据流式处理

Back Pressure Mechanism（反压机制）

  • 控制split生成流程
  • 控制operator的执行

多数据源联邦查询

将数个数据源进行统一的抽象，最后由presto server 进行统一的物理执行

局限性：

元数据管理与映射（每个connector管理一套元数据服务） 谓词下推 数据源分片

小结

展开介绍了如下的 Presto 重要机制:

1.多租户资源管理

2.多租户任务调度

3.内存计算

4.多数据源联邦查询

性能优化实践

常用性能分析工具

  1. Grafana
  2. Arthas
  3. Flame Figure（火焰图）
  4. java指令：jstack等指令

字节内部优化

Multi Coordinator

History Server

Support Remote UDF

参考了【大数据专场 学习资料三】第四届字节跳动青训营 - 掘金 (juejin.cn)

avatar
文章
阅读
粉丝