Presto 架构原理与优化介绍笔记（一）| 青训营笔记

LimeRanceLan
107 阅读4分钟

Presto 架构原理与优化介绍笔记（一）| 青训营笔记

这是我参与「第四届青训营 -大数据场」笔记创作活动的第10天

一、概述

1. 什么是大数据

在信息化时代背景下由于信息交换（通信网络带宽的大幅增长），信息存储（计算机存储量的大幅增长）和信息处理（整理、转换、分析数据能力大幅增加）而产生的数据。

  • 大数据不等价于大规模数据量
  • Hadoop的出现：基于廉价机器的存算分离的大规模分布式处理系统

2. OLAP

2.1 概念

*OLAP (OnLine Analytical Processing) *对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI）应用程序背后的技术。现如今OLAP已经发展为基于数据库通过SQL对外提供分析能力。

2.2 OLAP vs MapReduce
  • MapReduce代表抽象的物理执行模型，使用门槛较高
  • 与MapReduce Job相比，OLAP引擎常通过SQL形式为数据分析数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行优化和转换
2.3 OLAP核心概念
  • 维度
  • 度量
2.4 常见的OLAP引擎
  • 预计算引擎：Kylin，Druid
  • 批式处理引擎：Hive，Spark
  • 流式处理引擎：Flink
  • 交互式处理引擎：Presto，Clickhouse，Doris

3. Presto设计理念

img

Presto最初是由facebook研发的构建于Hadoop/HDFS系统之上的PB级交互式分析引擎，其具有如下的特点：

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • pipeline式数据处理

二、基础概念

1. Presto基础概念分类

1.1 服务相关概念
1.1.1 Coordinator（负责调度）：
  • 解析SQL语句
  • ⽣成执⾏计划
  • 分发执⾏任务给Worker节点执⾏
1.1.2 Worker
  • 在一个presto集群中，存在一个coordinator节点和多个worker节点，coordinator节点是管理节点，而worker节点就是工作节点，在每个worker节点上都会存在一个worker服务进程，该服务进程主要进行数据的处理以及task的执行，worker服务进程每隔一定的时间都会向coordinator上的服务发送心跳，接受调度。当客户端提交一个查询的时候，coordinator则会从当前存活的worker列表中选择出适合的worker节点去运行task，而worker在执行每个task的时候又会进一步对当前task读入的每个split进行一系列的操作和处理
1.1.3 Discovery Service

  • 将coordinator和woker结合到一起的服务

    • Worker节点启动后向Discovery Server服务注册
    • Coordinator从Discovery Server获得Worker节点

  • 所有的worker都把自己注册到Discovery Server上，Discovery Server是一个发现服务的service，Discovery Server发现服务之后，coordinator便知道在集群中有多少个worker能够工作，分配工作到worker时便有了根据

1.2 数据源相关概念
1.2.1 Connector
  • Presto通过Connector来支持多数据源，一个Connector代表一种数据源，如Hive Connector代表了对Hive数据源的支持。可以认为Connector是由Presto提供的适配多数据源的统一接口
1.2.2 Catalog
  • 针对不同的数据源，Connector和Catalog是一一对应的关系，Catalog包含了schema和data source的映射关系。
1.3 Query相关概念
1.3.1 Query
  • 基于SQL parser后获得的执行计划
1.3.2 Stage
  • 根据是否需要shuffle将Query拆分成不同的subplan，每一个subplan便是一个stage
1.3.3 Fragment
  • 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价
1.3.4 Task
  • 单个 Worker 节点上的最小资源管理单元: 在一个节点上, 一个 Stage 只有一个 Task, 一个 Query 可能有多个Task
1.3.5 Pipeline
  • Stage 按照 LocalExchange 切分为若干 Operator 集合, 每个 Operator 集合定义一个 Pipeline
1.3.6 Driver
  • Pipeline 的可执行实体 , Pipeline 和 Driver 的关系可类比 程序和进程 ，是最小的执行单元，通过 火山迭代模型执行每一个Operator
1.3.7 Split
  • 输入数据描述(数据实体是 Page), 数量上和 Driver 一一对应，不仅代表实际数据源split，也代表了不同stage间传输的数据
1.3.8 Operator
  • 最小的物理算子
1.4 数据传输相关概念

  • Exchange

    • 表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle

  • LocalExchange

    • Stage内的 rehash 操作，常用于提高并行处理数据的能力（Task在presto中只是最小的容器，而不是最小的执行单元）

2. Presto架构图

image.png

3. 核心组件架构介绍

  • 服务发现 discovery service

    • 将coordinator和worker结合在一起的服务
    • worker配置文件配置DS地址
    • worker节点启动后向discovery server服务注册
    • coordinator从该server获得worker节点

  • Presto的通信方式

    • client与server：Http
    • coordinator与worker：http/Thrift
    • worker与worker间通信：http/Thrift
    • Thrift具有更好的数据编码能力，Http1.1不支持头部信息压缩，Thrift有更好的数据压缩率

  • worker节点状态

    • ACTIVE：活跃
    • INACTIVE：不活跃
    • SHUTDOWN：节点准备结束工作，进入shutdown状态，coordinator不再给节点分配工作，节点完成工作后结束
avatar
文章
阅读
粉丝