大数据与 OLAP 基础概念介绍

OLAP名为联机分析，又称多维分析，指的是多种不同的维度审视数据，进行深层次分析。分析操作包括下钻、上卷、切片、切块、旋转等方法，为了实现这些操作，将常见的OLAP架构分为三类:

1、ROLAP（Relational OLAP）是直接使用关系模型构建，因为早期OLAP概念提出的时候是建立在关系型数据库之上的多维分析的操作，可以直接转换成SOL查询。

2、MOLAP（Multidimensional OLAP）,一般称为多维型OLAP，它可以缓解ROLAP性能问题，使用多维数组的形式保存数据。核心思想就是采用空间换取时间的形式，预先聚合结果来提高查询性能。

3、HOLAP（Hybrid OLAP）这种架构思想可谓是上面两种架构思想的混合，这种思想对于具体的了解、实现现在还不多。

Presto 基础概念

Presto 基础概念-服务

Presto可以使用分布式查询有效地查询大量数据。Presto是为了处理TB/PB级别的数据查询和分析，它是OLAP(Online Analytical Processing)领域的一个计算引擎，Presto被设计为替代使用 MapReduce 作业管道（如Hive或 Pig）查询HDFS的工具，但Presto不限于访问HDFS。Presto可以并且已经被扩展为在不同类型的数据源上运行，包括传统的关系数据库和其他数据源，如Cassandra。

Coordinator（负责调度）：
- 解析SQL语句
- ⽣成执⾏计划
- 分发执⾏任务给Worker节点执⾏

Worker

在一个presto集群中，存在一个coordinator节点和多个worker节点，coordinator节点是管理节点，而worker节点就是工作节点，在每个worker节点上都会存在一个worker服务进程，该服务进程主要进行数据的处理以及task的执行，worker服务进程每隔一定的时间都会向coordinator上的服务发送心跳，接受调度。当客户端提交一个查询的时候，coordinator则会从当前存活的worker列表中选择出适合的worker节点去运行task，而worker在执行每个task的时候又会进一步对当前task读入的每个split进行一系列的操作和处理

Discovery Service（将coordinator和woker结合到一起的服务）:
- Worker节点启动后向Discovery Server服务注册
- Coordinator从Discovery Server获得Worker节点

所有的worker都把自己注册到Discovery Server上，Discovery Server是一个发现服务的service，Discovery Server发现服务之后，coordinator便知道在集群中有多少个worker能够工作，分配工作到worker时便有了根据。

Presto基础概念-数据源

Connector Presto通过Connector来支持多数据源，一个Connector代表一种数据源，Connector是适配器，用于Presto和数据源（如Hive、RDBMS）的连接，每个catalog都有一个特定的Connector，一个或多个catelog用同样的connector是访问同样的数据库。
Catalog 就是数据源。每个数据源连接都有一个名字，一个Catalog可以包含多个Schema，大家可以通过show catalogs 命令看到Presto已连接的所有数据源。
schema 相当于一个数据库实例，一个Schema包含多张数据表。通过以下方式可列出catalog_name下的所有 Schema：show schemas from 'catalog_name'
Table 数据表，与RDBMS上的数据库表意义相同。通过以下方式可查看'catalog_name.schema_name'下的所有表：show tables from 'catalog_name.schema_name'

Presto基础概念-Query部分

Query 当Presto解析一个语句时，它将其转换为一个查询，并创建一个分布式查询计划（多个互信连接的stage，运行在Worker上）。如果想获取Presto的查询情况，则获取每个组件（正在执行这语句的结点）的快照。查询和语句的区别是，语句是存SQL文本，而查询是配置和实例化的组件。
Stage 当Presto执行查询时，会将执行拆分为有层次结构的stage。例如，从hive中的10亿行数据中聚合数据，此时会创建一个用于聚合的根stage，用于聚合其他stage的数据。层次结构的stage类似一棵树。每个查询都由一个根stage，用于聚合其他stage的数据。stage是Coordinator的分布式查询计划（distributed query plan）的模型，stage不是在worker上运行。
Fragment 基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价
Task 由于stage不是在worker上运行。stage又会被分为多个task，在不同的work上执行。Task是Presto结构里是“work horse”。一个分布式查询计划会被拆分为多个stage，并再转为task，然后task就运行或处理split。Task有输入和输出，一个stage可以分为多个并行执行的task，一个task可以分为多个并行执行的driver。
Pipeline Stage 按照 LocalExchange 切分为若干 Operator 集合, 每个 Operator 集合定义一个 Pipeline
Driver Task包含一个或多个并行的driver。Driver在数据上处理，并生成输出，然后由Task聚合，最后传送给stage的其他task。一个driver是Operator的序列。driver是Presto最最低层的并行机制。一个driver有一个输出和一个输入。
Split Task运行在split上。split是一个大数据集合中的一块。分布式查询计划最底层的stage是通过split从connector上获取数据，分布式查询计划中间层或顶层则是从它们下层的stage获取数据。
Operator Operator消费，传送和生产数据。如一个Operator从connector中扫表获取数据，然后生产数据给其他Operator消费。一个过滤Operator消费数据，并应用谓词，最后生产出子集数据。

Presto基础概念-数据传输部分

Exchange Exchange在Presto结点的不同stage之间传送数据。Task生产和消费数据是通过Exchange客户端，表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle。
LocalExchange Stage内的 rehash 操作，常用于提高并行处理数据的能力。（Task在presto中只是最小的容器，而不是最小的执行单元）

根据所给课前内容，预选到这里就结束了，感谢阅读。

Presto 架构原理与优化介绍课前学习|青训营笔记