这是我参与「第四届青训营 」笔记创作活动的第10天
7.3 Presto重要机制
1.多租户资源管理
Case介绍
假设某个用户提交一个sql:
提交方式: Presto-cli
提交用户: zhangyanbing
提交SQL: select customer_type, avg(cost) as a from test_table group by customer_type order by a limit 10;
Resource Group
类似Yarn多级队列的资源管理方式
基于CPU、MEMORY、SQL执行数进行资源使用量限制
优点:轻量的Query级别的多级队列资源管理模式
缺点:存在一定滞后性，只会对Group 中正在运行的SQL进行判断
2.多租户下的任务调度
物理计划生成
提交SQL: select customer_type, avg(cost) as a from test_table group by customer_type order by a limit 10;
- Antlr4解析生成AST
2)转换成Logical Plan
3)按照是否存在Shuffle (Exchange) ，切分成不同的Stage (Fragment)
Stage调度
AllAtOnceExecutionPolicy-同时调度
PhasedExecutionPolicy-分阶段调度
➢PhasedExecutionPolicy:不代表每个stage都分开调度
典型的应用场景(join查询)
Build 端:右表构建用户join的hashtable
Probe 端:对用户左表数据进行探查，需要等待build端完成
Build 端构建hashtable端时，probe 端是一直在空跑的
调度策略：
AllAtOnceExecutionPolicy-延迟点，会存在任务空跑
PhasedExecutionPolicy-有一定延迟、节省部分资源
Task调度
task的数量如何确定？
Source :根据数据meta决定分配多少个节点
Fixed: hash partition count确定，如集群节点数量
Sink:汇聚结果，一台机器
Scaled:无分区限制，可拓展，如write数据
Coordinator_Only: 只需要coordinator参与
选择什么样的节点（调度方式有哪些）
➢HARD_ AFFINITY:计算、存储Local模式，保障计算与存储在同一个节点，减少数据传输
➢SOFT AFFINITY:基于某些特定算法，如一致性HASH函数，常用于缓存场景，保证相似的Task调度到同一个Worker
➢NO_ PREFERENCE:随机选取，常用于普通的纯计算Task
Split调度
Query A大SQL先提交
Query B小SQL后提交
是否应该等Query A执行完了再执行Query B?
FIFO顺序执行，绝对公平
优先级调度：快速响应
1）按照固定的时间片，轮训Split处理数据，处理1s,再重新选择一个Split执行
2） Split 间存在优先级
MultilevelSplitQueue
5个优先级level理论.上分配的时间占比为16:8:4:2:1 (2-based)
优势:
1）优先保证小Query快速执行
2）保障大Query存在固定比例的时间片，不会被完全饿死
3.内存计算
Pipeline化的数据处理
Pipeline(按LocalExchange拆分）：
Pipeline的引入更好的实现算子间的并行
语义上保证了每个Task内的数据流式处理
Back Pressure Mechanism
控制split生成流程
控制operator的执行
1） targetConcurrency auto-scale-out定时检查，如果OutputBuffers使用率低于0.5 (下游消费较快需要提高生产速度)，并发度+1
2） "sink.max buffer- size"写入buffer的大小控制"exchange.max buffer size"读取buffer的大小控制
达到最大值时Operator会进入阻塞状态
4.多数据源联邦查询
将各个数据源进行统一的抽象，最后由presto sever进行统一的物理执行
局限性：
1）元数据管理与映射（每个connector管理一套元数据服务）
2）谓词下推
3）数据源分片
小结：
展开介绍了如下的Presto重要机制:
1）多租户资源管理
2）多租户任务调度
3）内存计算
4）多数据源联邦查询
7.4 性能优化实践
1.常用性能分析工具
Grafana：埋点、系统指标如CPU、内存、网络等的可视化界面，时序化的数据显示
JAVA相关指令
Jstack查看Java线程栈信息，排查是否有死锁，或者异常线程存在
JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架，常用来做一些监控指标的统计收集
JMAP & GC日志等等内存分析工具
线上问题排查工具
Arthas:Watch,Trace...
Flame Figure/火焰图
用于分析热点代码占用大量CPU，从而导致服务性能下降的情况。如下图，自底向上为调用关系。上层宽度越宽表示当前函数 CPU耗时越久，我们关注最宽的函数调用。
Presto UI
Query级别统计信息
Logical plan
Stage、Task 信息
Worker状态信息
3.字节内部优化实战
