流/批/OLAP 一体的 Flink 引擎介绍|青训营笔记

兔子加油
119 阅读5分钟

这是我参与【第四届青训营】笔记创造活动的第二天。

大数据：指无法在一定时间内用常规软件工具对其获取，存储，管理和处理的数据合集，具有价值化，海量化，快速化，多样化

大数据计算架构发展历史：史前阶段（~2006|传统数仓，Oracle，单机，黑箱使用）>Hadoop(Map-Reduce,分布式，离线计算）>Spark（批处理，流处理，SQL高阶API,内存迭代计算）>Flink(流计算，实时，流批一体,Streaming/Batch SQL)

image.png Flink：从产品技术来看，Flink 作为一个最新的实时计算引擎，具备如下流计算技术特征：

  • 完全一次保证：故障后应正确恢复有状态运算符中的状态；
  • 低延迟：越低越好。许多应用程序需要亚秒级延迟；
  • 高吞吐量：随着数据速率的增长，通过管道推送大量数据至关重要； -强大的计算模型：框架应该提供一种编程模型，该模型不限制用户并允许各种各样的应用程序在没有故障的情况下，容错机制的开销很低；
  • 流量控制：来自慢速算子的反压应该由系统和数据源自然吸收，以避免因消费者缓慢而导致崩溃或降低性能；
  • 乱序数据的支持：支持由于其他原因导致的数据乱序达到、延迟到达后，计算出正确的结果；
  • 完备的流式语义：支持窗口等现代流式处理语义抽象；
  • Google Dataflow Model 的开源引擎实现。

Apache Flink 在开源生态上的能力比较强大，可以支持：

  1. 流批一体：支持流式计算和批式计算；
  2. OLAP：Flink 可以支持 OLAP 这种短查询场景；
  3. Flink ML：pyFlink、ALink、AIFlow 等生态支持 Flink 在 ML 场景的应用；
  4. Gelly：图计算；
  5. Stateful Function：支持有状态的 FAAS 场景；
  6. ...

Apache Flink的分层架构：SDK层，执行引擎层，状态储存层，资源调度层

Flink整体架构：

JobManager(JM):负责整个任务的协调工作，包括调度taxk,触发协调Task做Checkpoint,协调容错恢复等

image.png Dispatcher:接受作业，拉起JobManager来执行行业，并在JobMaster挂掉之后恢复作业

JobMaster:管理一个job的整个生命周期，会向ResourceManager申请slot,并将task调度到对应TM上

ResourManager:负责slot资源的管理和调度，Task manager拉起之后会向RM注册

TaskManager(TM):负责执行一个DataFlow Graph的各个task以及data streams的buffer和数据交换

为什么需要流批一体

  • 一些业务场景，除了实时的数据统计需求，为了确认运营或产品的效果，用户同时还需要和历史数据做比较，比如，抖音一些直播数据的统计；

image.png

image.png

Flink 如何做到流批一体

  • 批式计算是流式计算的特例，Everything is Streams，有界数据集（批式数据）也是一种数据流、一种特殊的数据流；
  • 站在 Flink 的角度，Everything is Streams，无边界数据集是一种数据流，一个无边界的数据流可以按时间切段成一个个有边界的数据集，所以有界数据集（批式数据）也是一种数据流。因此，不管是有边界的数据集（批式数据）还是无边界数据集，Flink 都可以天然地支持，这是 Flink 支持流批一体的基础。并且 Flink 在流批一体上，从上面的 API 到底层的处理机制都是统一的，是真正意义上的流批一体。

Apache Flink 主要从以下几个模块来做流批一体：

- SQL 层；
- DataStream API 层统一，批和流都可以使用 DataStream API 来开发；
- Scheduler 层架构统一，支持流批场景；
- Failover Recovery 层 架构统一，支持流批场景；
- Shuffle Service 层架构统一，流批场景选择不同的 Shuffle Service；

Scheduler主要负责将作业的DAG转化为在分布式环境中可以执行的Task image.png

Shuffle：在分布式计算中，用来连接上下游数据交互的过程叫做 Shuffle。实际上，分布式计算中所有涉及到上下游衔接的过程，都可以理解为 Shuffle；

Shuffle 分类：

 -   基于文件的 Pull Based Shuffle，比如 Spark 或 MR，它的特点是具有较高的容错性，适合较大规模的批处理作业，由于是基于文件的，它的容错性和稳定性会更好一些；、
 -   基于 Pipeline 的 Push Based Shuffle，比如 Flink、Storm、Presto 等，它的特点是低延迟和高性能，但是因为 shuffle 数据没有存储下来，如果是 batch 任务的话，就需要进行重跑恢复；

image.png

  • Flink OLAP 架构现状
    • Client：提交 SQL Query；
    • Gateway：接收 Client 提交的 SQL Query，对 SQL 进行语法解析和查询优化，生成 Flink 作业执行计划，提交给 Session 集群；
    • Session Cluster：执行作业调度及计算，并返回结果。
      • JobManager 管理作业的执行，在接收到 Gateway 提交过来的作业逻辑执行计划后，将逻辑执行计划转换为物理执行计划，为每个物理计算任务分配资源，将每个计算任务分发给不同的 TaskManager 执行，同时管理作业以及每个计算任务执行状态；
      • TaskManager执行具体的计算任务，采用线程模型，为每个计算任务创建计算线程，根据计算任务的上下游数据依赖关系跟上游计算任务建立/复用网络连接，向上游计算任务发送数据请求，并处理上游分发给它的数据。
avatar
文章
阅读
粉丝