这是我参与「第四届青训营 」笔记创作活动的的第3天
今天的笔记主要分为四个部分：
一、概述
二、Presto基础原理和概念
三、Presto重要机制
四、性能优化实践
一、概述
1.大数据与OLAP的演进
大数据：大数据其实是在2000年后，因为信息化的快速发展。信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。
Hadoop：基于廉价机器的存算分离的大规模分布式处理系统。
OLAP(Online Analytical Processing)：对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是许多商务智能（BI）应用程序背后的技术。
2.Presto设计思想
Presto最初是由Facebook研发的构建于Hadoop/HDFS系统之上的PB级交互式分析引擎，其具有如下的特点：
-多租户任务的管理与调度
-多数据源联邦调查
-支持内存化计算
-Pipeline式数据处理
二、Presto基础原理与概念
1.基础概念介绍
1.1服务相关
Coordinator
-解析SQL语句
-生成执行计划
-分发执行任务给Worker节点
Worker
-执行Task处理数据
-与其他Worker交互传输数据
1.2数据源相关
Connector：一个Connector代表一种数据源。可以认为Connector是由Presto提供的适配多数据源的统一接口。
Catalog:管理元信息与实际数据的映射关系。
2.核心组件架构介绍
Presto架构图
2.1服务发现
Discovery Service：
-Worker配置文件配置Discovery Service地址
-Worker节点启动后会向Discovery Service注册
-Coordiantor从Discovery Service获取Worker的地址
2.2通信机制
-Presto Client/JDBC Client与Server间通信：Http
-Coordinator与Worker间的通信：Thrift/Http
-Worker与Worker间的通信：Thrift/Http
三、Presto重要机制
1.多租户资源管理-Case介绍
假设某个用户提交一个sql：
提交方式：Presto-cli
提交用户：zhangyanbing
提交sql：select customer_type,avg(cost) as a from test_table group by customer_type order by a limit 10;
Resource group：
优点：轻量的Query级别的多级队列资源管理模式
缺点：存在一定的滞后性，只会对Group中正在运行的SQL进行判断
2.多租户下的任务调度
2.1 Stage调度
调度策略：
-AllAtOnceExecutionPolicy(同时调度)：延迟点，会存在任务跑空
-PhasedExecutionPolicy(分阶段调度)：有一定延迟，节省部分资源
典型的应用场景(join查询)
-Build端：右表构建用户join的hashtable
-Probe端：对用户左表数据进行探查，需要等待build端完成
-Build端构建hashtable端时，probe端是一直在空跑的
2.2 Task调度
-Task的数量如何确定
Source：根据数据meta决定分配多少个节点
Fixed：hash partition count确定，如集群节点数量
Sink：汇聚结果，一台机器
Scaled：无分区限制，可拓展，如while数据
Coordinator_Only:只需要coordinator参与
选择什么样的节点？
HARD_AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输
SOFT_AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个worker
NO_PREFERENCE:随机选取，常用于普通的纯计算Task
3.内存计算
Pipeline(按LocalExchange拆分):
-Pipeline的引入更好的实现算子间的并行
-语义上保证了每个Task内的数据流式处理
四、性能优化实践
1.常用性能分析工具
-Grafana：埋点、系统指标如CPU、内存、网络等的可视化界面，时序化的数据显示。
-Java相关指令：
Jstack查看Java线程栈信息，排查是否有死锁，或者异常线程存在
JMX是一个为应用程序植入管理功能的框架，常用来做一些监控指标的统计收集
JMAP和GC日志等内存分析工具
-线上问题排查工具： -Arthas
-Flame Figure火焰图
-Presto UI
2.案例分析以及优化
