Presto | 青训营笔记

摆摆子
83 阅读3分钟

这是我参与「第四届青训营 」笔记创作活动的第12天

大数据与OLAP

OLAP(online analytical processing) 在线分析处理

对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模得能力。是很多商务智能(BI)应用程序背后得技术

MapReduce 代表了抽象的物理执行模型，使用门槛高

OLAP 相比于 MapReduce Job，OLAP引擎 通常通过SQL的形式，为数据分析、数据开发人员提供统一的逻辑表述语言，时间的物理执行模型右具体的引擎进行转换和优化

OLAP的常见引擎：

  • 预计算引擎：Kylin，Druid
  • 批示处理引擎：Hive，Spark
  • 流式处理引擎：Flink
  • 交互式处理引擎：Presto，Clickhouse，Doris

Presto

Presto 是由 Facebook 研发的PB级交互式分析引擎

它拥有以下优点：

  • 多租户任务的管理与调度
  • 多数据源联邦查询
  • 支持内存化计算
  • pipeline式 数据处理

服务相关

客户端[请求] -> coordinator(协调器)[调度多个] -> worker[处理返回] -> 用户[中间省略多级返回过程]

image.png

其中每一个worker都能和一个connector相连，然后每一个connnector都可以连接不同的数据源，同时worker之间也能进行交互。

Discovery Service:

  1. Worker 配置文件配置 Discovery Service地址
  2. Worker节点启动后会向Discovery Service 注册
  3. Coordiantor 从Discovery Service获取Worker的地址

Query相关

  • Query

    基于 SQL parser后获得的执行计划

  • Stage

    根据是否需要shuffle将Query拆分成不同的subplan，每一个subplan便是一个stage

  • Fragment

    基本等价于Stage，属于在不同阶段的称呼，在本门课程可以认为两者等价

  • Task

    单个 Worker节点上的最小资源管理单元:在一个节点上,一个 Stage 只有一个Task,一个Query可能有多个Task

  • Pipeline

    stage按照LocalExchange 切分为若干Operator集合,每个Operator集合定义一个 Pipeline.

  • Driver

    Pipeline的可执行实体，Pipeline和 Driver的关系可类比程序和进程，是最小的执行单元，通过火山迭代模型执行每一个Operator.

  • Split

    输入数据描述(数据实体是 Page),数量上和Driver ——对应，不仅代表实际数据源split，也代表了不同stage间传输的数据。

  • Operator

    最小的物理算子。

架构图

image.png

常用的性能分析工具

  • Grafana

    埋点、系统指标如CPU、内存、网络等的可视化界面，时序化的数据展示

  • java指令

    Jstack 查看Java线程栈信息，排查是否有死锁，或者异常线程存在 JMX(Java Management Extensions) 是一个为应用程序植入管理功能的框架，常用来做一些监控指标的统计收集 JMAP & GC日志等等内存分析工具

  • Arthas

    阿里的线上问题排查工具

  • Flame Figure/火焰图

    用于分析热点代码占用大量CPU,从而导致服务性能下降的情况。如下图，自底向上为调用关系。上层宽度越宽表示当前函数CPU耗时越久，我们关注最宽的函数调用。

avatar
文章
阅读
粉丝