这是我参与「第四届青训营 」笔记创作活动的第9天
7.1 概述
1.大数据与OLAP的演进
什么是大数据？大数据=大规模的数据量？
关于大数据这里我们参考马丁希尔伯特的总结:大数据其实是在2000年后，因为信息化的快速发展。信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。
Hadoop:基于廉价机器的存算分离的大规模分布式处理系统
1）谷歌在2003、2004年 发布Google File System论文、MapReduce论文。
2） 2008年，Hadoop成为apache顶级项目
➢OLAP(OnLine Analytical Processing)对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能(BI) 应用程序背后的技术。
➢OLAP VS MapReduce
1）MapReduce代表了抽象的物理执行模型，使用门槛较高
2）与Mapreduce Job相比，OL AP引擎常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化。
OLAP核心概念：维度、度量
➢常见的OLAP引擎:
预计算引擎: Kylin, Druid
批式处理引擎: Hive, Spark
流式处理引擎: Flink
交互式处理引擎: Presto, Clickhouse, Doris
2.Presto设计思想：
Presto 最初是由Facebo研发的构建于HopHDFPP系统之上的PB级交互式分析引擎，其具有如下的特点:
1）多租户任务的管理 与调度
2）多数据源联邦查询
3）支持内存化计算
4）Pipeline式数据处理
有很多公司也基于Presto进行了二次开发:
Prestodb: github.com/prestodb/pr…
Trino: github.com/trinodb/tri…
Openlookeng: github.com/openlookeng…
3.小结
1）介绍了大数据与OLAP系统的演进
2）带大家初步认识了Presto,了解Presto相关设计理念
7.2 Presto基础原理和概念
1.基础概念的介绍
基础概念介绍-服务相关
Coordinator：解析SQL语句、生成执行计划、分发执行任务给Worker节点
Worker、执行Task处理数据、与其他Worker交互传输数据
基础概念介绍-数据源相关
➢Connector:一个Connector代表一 种数据源。可以认为Connector是由Presto提供 的适配多数据源的统一接口。
➢Catalog:管理元信息与实际数据的映射关系。
基础概念介绍-Query相关
➢Query:基于SQL parser后获得的执行计划
➢Stage:根据是否需要shuffle将Query拆分成不同的subplan,每一个subplan便是一个 stage
➢Fragment:基本等价于Stage,属于在不同阶段的称呼，在本门课程可以认为两者等价
➢Task:单个Worker节点上的最小资源管理单元:在一个节点上， -个Stage只有一个Task,一个Query可能有多个Task
➢Pipeline:Stage按照LocalExchange切分为若干Operator集合，每个Operator集合定义一个Pipeline.
➢Driver：Pipeline的可执行实体，Pipeline和Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator.
➢Split：输入数据描述(数据实体是Page),数量上和Driver一对应，不仅代表实际数据源split,也代表了不同stage间传输的数据。
➢Operator：最小的物理算子。
基础概念介绍-数据传输相关
➢Exchange & LocalExchange; Exchange:表示不同Stage间的数据传输，大多数意义下等价于Shufle
LocalExchange:Stage 内的rehash操作，常用于提高并行处理数据的能力(Task在Presto中只是最小的容器，而不是最小的执行单元)
LocalExchange的默认数值是16。
多租户下的任务调度-数据传输相关
Q；如何衡量某个任务某个Stage的真实并行度？
A：在不同pipeline下split(driver)的数目之和
2.核心组件架构介绍
Presto架构图
核心组件架构介绍-服务发现
Discovery Service:
1） Worker配置文件配置Discovery Service地址
2） Worker节点启动后会向Discovery Service注册
3） Coordiantor从Discovery Service获取Worker的地址
核心组件架构介绍-通信机制
➢通信机制 1） Presto Client I JDBC Client 与Server间通信：Http
2） Coordinator 与Worker间的通信：Thrift/ Http
3） Worker与Worker间的通信：Thrift/ Http
➢Http 1.1 VS Thrift
Thrift具有更好的数据编码能力，Http 1.1还不支持头部信息的压缩，Thrift 具有更好的数据压缩率
节点状态：
1）ACTIVE
2)INACTIVE
3)SHUTDOWN
SHUTDOWN状态的作用是什么？
➢Graceful shutdown（优雅的扩缩容）：
小结：
1）从服务、数据源、Query、数据传输四个角度，介绍了Presto相关的基础概念服务、数据源、Query、 数据传输包含哪些基本概念?如何衡量一个任务的并行度(Task 并不是最小的执行单元)
2）通过服务发现、通信机制、节点状态三方面介绍了Coordinator与Worker是如何协调和工作的
