Presto 架构原理与优化介绍 ｜ 青训营笔记

用户5236754501065
63 阅读5分钟

这是我参与「第四届青训营 」笔记创作活动的第6天

Lecture07. Presto 架构原理与优化介绍

01. 概述

1.1 大数据与OLAP系统的演进

大数据 ！= 大规模的数据量

  • 信息交换
  • 信息存储
  • 信息处理

信息化快速发展的产物

Hadoop：基于廉价机器的存算分离的大规模分布式处理系统

MapReduce：数据的转换 + 数据组合

应用性得到普及

OLAP

OLAP(OnLine Analvtical Processing)对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI)应用程序背后的技术。

OLAP与MapReduce
  • MapReduce代表了抽象的物理执行模型，使用门槛较高
  • 与Mapreduce Job比，OLAP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化。不需要通过编程实现，会SQL即可
OLAP核心概念
  • 维度
  • 度量
常见OLAP引擎
  • 预计算引擎：Kylin, Druid，空间换取时间
  • 批式处理引擎：Hive, Spark
  • 流式处理引擎：Flink，实时性：数据产出实时性、查出实时性
  • 交互式处理引擎：Presto, Clickhouse,Doris，解决查询时延

1.2 Presto设计思想

特点：

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • Pipeline式数据处理：更符合交互式场景

02. Presto基础原理与概念

2.1 基础概念

  • Coordinator

    • 解析SQL语句.生成执行计划
    • 分发执行任务给Worker节点

  • Worker

    • 执行Task处理数据
    • 与其他Worker交互传输数据

数据源相关

  • Connector :

    • 一个Connector代表一种数据源。可以认为Connector是由Presto提供的适配多数据源的统一接口。
    • plug-in方式

  • Catalog :

    • 管理元信息与实际数据的映射关系。

Query相关

  • Query

    • 基于SQL parser后获得的执行计划
    • 最大层次的逻辑计划

  • Stage

    • 根据是否需要 shuffle将Query拆分成不同的subplan，每一个subplan便是一个stage

  • Fragment

    • 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价

  • Task

    • 单个 Worker节点上的最小资源管理单元:在一个节点上,一个 Stage只有一个Task,一个Query 可能有多个Task
    • 拆成pipeline

  • Pipeline

    • Stage按照LocalExchange切分为若干Operator集合,每个Operator集合定义一个Pipeline.
    • 一组数据的顺序处理
    • 下面有很多driver
    • Q：如何衡量某个任务某个Stage的真实并行度？ A：在不同Pipeline 下 Split (Driver)的数目之和。

  • Driver

    • Pipeline的可执行实体，Pipeline 和 Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator.

  • Split

    • 输入数据描述(数据实体是 Page),数量上和 Driver ——对应，不仅代表实际数据源split，也代表了不同stage间传输的数据。

  • Operator

    • 最小的物理算子。

数据传输相关

Exchange & LocalExchange :

  • Exchange :

    • 表示不同Stage间的数据传输，大多数意义下等价于 Shuffle

  • LocalExchange :

    • Stage 内的 rehash 操作，常用于提高并行处理数据的能力(Task在Presto中只是最小的容器，而不是最小的执行单元)

LocalExchange的默认数值是16。提高并行处理的能力

2.2 核心组件架构介绍

服务发现

Discovery Service :
  1. Worker配置文件配置Discovery Service地址
  2. Worker节点启动后会向Discovery Service注册
  3. Coordiantor 从Discovery Service获取Worker的地址
通信机制：

1.Presto Client /JDBC Client 与Server间通信

  • Http

2.Coordinator 与Worker间的通信

  • Thrift / Http

3.Worker 与Worker 间的通信

  • Thrift / Http

Http 1.1 VS Thrift

  • Thrift具有更好的数据编码能力，Http 1.1还不支持头部信息的压缩，Thrift具有更好的数据压缩率

Thrift：常见的RPC框架

节点状态：
  • ACTIVE
  • INACTIVE
  • SHUTDOWN

Graceful Shutdown(优雅的扩缩容） :

小结

  1. 服务、数据源、Query、数据传输
  2. 服务发现、通信机制、节点状态

03. Presto重要机制

3.1 多租户资源管理

Case介绍

Resource Group

  • 类似Yarn多级队列的资源管理方式
  • 基于CPU、MEMORY、SQL执行数进行资源使用量限制

优点:

  • 轻量的Query级别的多级队列资源管理模式

缺点

  • 存在一定滞后性，只会对Group中正在运行的SQL进行判断，缺少更细粒度的判断

3.2 租户下的任务调度

Stage的调度策略

  • AllAtOnceExecutionPolicy同时调度（通常选择）

    • 延迟点,会存在任务空跑
    • 芬计划调度其实没那么多

  • PhasedExecutionPolicy分阶段调度

    • 有一定延迟、节省部分资源（节省没那么多）

Task调度

Task的数量如何确定：

  • Source:根据数据meta决定分配多少个节点
  • Fixed: hash partition count确定，如集群节点数量
  • Sink:汇聚结果，一台机器
  • Scaled:无分区限制，可拓展，如write数据，DML语句
  • Coordinator_Only:只需要coordinator参与，直接传一个表达式 select 2-1

选择什么样的节点

  • HARD_AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输
  • SOFT_AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker
  • NO_PREFERENCE:随机选取，常用于普通的纯计算Task（90%）
avatar
文章
阅读
粉丝