这是我参与「第四届青训营 」笔记创作活动的第6天
概述
大数据与OLAP系统的演进
- 信息交换：通信和网络宽带的大幅增长
- 信息存储：计算机存储量的大幅增长
- 信息处理：整理、转换、分析数据的能力大幅增长 Hadoop：基于廉价机器的存算分离的大规模分布式处理系统
什么是OLAP？
OLAP(OnLine Analytical Processing) 对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI）应用程序背后的技术。现如今OLAP已经发展为基于数据库通过SQL对外提供分析能力
OLAP核心概念
- 维度
- 度量
OLAP vs MapReduce
- MapReduce代表了抽象的物理执行模型，使用门槛较高
- 与Mapreduce Job相比，OLAP引擎通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑描述语言，实际的物理执行由具体的引擎进行转换和优化。
Presto设计思想
Presto最初是由facebook研发的构建于Hadoop/HDFS系统之上的PB级交互式分析引擎
特点：
- 多租户任务的管理与调度
- 多数据源联邦查询
- 支持内存化计算
- pipeline式数据处理
基于Presto的二次开发
- Prestodb
- Trino
- Openlookeng
Presto基础原理与概念
服务相关
Coordinator
- 解析SQL语句
- 生成执行计划
- 分发执行任务给Worker节点
Worker
- 执行Task处理数据
- 与其他Worker交互传输数据
数据源相关
Connector：
- 一个Connector代表一种数据源。可以认为Connector是由Presto提供的适配多数据源的统一接口。
Catalog：
- 管理元信息与实际数据的映射关系。
基础概念
Query相关：
- Query
- Stage
- Fragment
- Task
- Pipeline
- Driver
- Split
- Operator
数据传输相关：
-
Exchange：
- 表示不同 Stage 间的数据传输，大多数意义下等价于 Shuffle。
-
LocalExchange：（默认数值是 16）
- Stage 内的 rehash 操作，常用于提高并行处理数据的能力（Task 在 Presto 中只是最小的容器，而不是最小的执行单元）
衡量某个任务某个 Stage 的真实并行度
在不同的 Pipeline 下 Split（Driver）的数目之和是否一致。
Presto重要机制
多租户资源管理
类似Yarn多级队列的资源管理方式；基于CPU、MEMORY、SQL 执行数进行资源使用量限制
- 优点:轻量的Query级别的多级队列资源管理模式
- 缺点:存在一定滞后性，只会对Group中正在运行的SQL进行判断
多租户下的任务调度
-
Stage调度
-
Task调度
-
Split调度
内存计算
- Pipeline化的数据处理：更好的实现算子间的并行；语义上保证了每个Task内的数据流式处理
- Back pressure Mechanism：控制split生成流程；控制operator的执行
