Presto 架构原理与优化介绍|青训营笔记

兔子加油
132 阅读3分钟

这是我参与【第四届青训营】笔记创造活动的第六天。 Presto基础概念-数据源

  • Connector

Presto通过Connector来支持多数据源，一个Connector代表一种数据源，如Hive Connector代表了对Hive数据源的支持。可以认为Connector是由Presto提供的适配多数据源的统一接口

  • Catalog

针对不同的数据源，Connector和Catalog是一一对应的关系，Catalog包含了schema和data source的映射关系。

Presto基础概念-Query部分

  • Query

基于SQL parser后获得的执行计划

  • Stage

根据是否需要shuffle将Query拆分成不同的subplan，每一个subplan便是一个stage

  • Fragment

基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价

  • Task

单个 Worker 节点上的最小资源管理单元: 在一个节点上, 一个 Stage 只有一个 Task, 一个 Query 可能有多个Task

  • Pipeline

Stage 按照 LocalExchange 切分为若干 Operator 集合, 每个 Operator 集合定义一个 Pipeline

  • Driver

Pipeline 的可执行实体 , Pipeline 和 Driver 的关系可类比 程序和进程 ，是最小的执行单元，通过 火山迭代模型执行每一个Operator

  • Split

输入数据描述(数据实体是 Page), 数量上和 Driver 一一对应，不仅代表实际数据源split，也代表了不同stage间传输的数据

  • Operator

最小的物理算子

Presto基础概念-数据传输部分

  • Exchange

表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle

  • LocalExchange

Stage内的 rehash 操作，常用于提高并行处理数据的能力（Task在presto中只是最小的容器，而不是最小的执行单元）

  1. Presto用户多租户隔离的手段是什么？

    1.   Presto 通过Resource Group对不同的用户创建不同Group从而实现不同租户，不同场景的资源管理
  1. Presto Resource Group的优缺点

优点：支持通配符的形式，对不同租户，不同提交场景下的用户进行限制

缺点：资源的管理和判断是以当前用户正在运行的SQL资源使用量为基准，对于低频大SQL场景不太适用

  1. Presto是从哪几个方面实现了多租户的任务调度

    1. Stage调度策略
    2. Task的节点选择策略
    3. Split调度策略

  2. Presto Stage调度的方式有哪些？

    1. AllAtOnceExecutionPolicy
    2. PhasedExecutionPolicy

  3. Presto 进行 Task 调度时，有哪些调度方式？

    1. HARD_AFFINITY： 计算、存储 Local 模式，保障计算与存储在同一个节点，减少数据传输
    2. SOFT_AFFINITY： 基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的 Task 调度到同一个 Worker
    3. NO_PREFERENCE： 随机选取，常用于普通的纯计算 Task

  4. Presto是如何实现Back pressure mechanism的

    1. 控制split生成流程
    2.   针对每个Task定时检查, 如果 OutputBuffers 使用率低于 0.5 (下游消费较快, 需要提高生产速度), Split 并发度+1
    3. 控制Operator执行速度
    4.   "sink.max-buffer-size" 写入buffer的大小控制
    5.   "exchange.max-buffer-size" 读取buffer的大小控制
    6.   Buffer 达到最大值时Operator会进入阻塞状态
  1. Presto多数据源支持的优点与缺点

优点：支持多数据源的联邦查询

  • 缺点：针对不同数据源，还存在许多问题需要解决
    • 谓词下推
    • 每个数据源都需要单独的一套catalog管理
    • 如何针对数据源进行分片操作
avatar
文章
阅读
粉丝