Flink实时框架--源码

结论 FLink KeyBy算子的KeySelector的构造是在JobManager/客户端构造的，而getKey获取key去进行分区，是在TaskManager的subTask中执行的，因此，这就

1.TaskManager与JVM TaskManager是根据Flink集群分配的，本地测试LocalExecutionEnvironment默认只会产生一个TaskManager。 一个TaskM

文章学习自FFA 一.FlinkSQL的解析、执行 Flink 引擎接收到一个 SQL 文本后 通过 SqlParser 将其解析成 SqlNode。 通过查询 Catalog 中的元数据信息，对 S

在前面文章Flink-反压-2.源码分析-流程-1，我们知道BufferManager主要回收的是专属缓冲区，浮动缓冲区的递归回收，其实还是要看LocalBufferPool的逻辑 一.添加浮动缓冲区

前言 整个反压机制不是单单一个算子去实现的，而是上下游协同操作的，因此，解析源码的时候会拆出每个单独的部分，没办法全面去协调解析，很绕，分为以下几步 下游解析上游发送的数据消息并占用缓冲区，等待下游消

前言 整个反压机制不是单单一个算子去实现的，而是上下游协同操作的，因此，解析源码的时候会拆出每个单独的部分，没办法全面去协调解析，很绕，分为以下几步 下游解析上游发送的数据消息并占用缓冲区，等待下游消

1.为什么会存在反压 反压是很常见的情况，如下图 生产者：每s生产2MB数据 消费者：每s消费1MB数据 在生产者和消费者之间又存在一个缓冲区，为了缓解这个差值的，但是如果一致存在差值，迟早有一天，缓

前言 上一篇文章Flink-Checkpoint-1.源码流程讲解了Checkpoint的整个流程的调用，最终发现在SubtaskCheckpointCoordinatorImpl类的takeSnap

一.先从CheckpointCoordinator入手 1.触发检查点的流程 检查点：triggerCheckpoint(CheckpointType checkpointType)->调trigge

一.ExecutionGraph源码机制 首先，我们要了解到，StreamGraph和JobGraph都是在client创建的，client创建完这俩图后呢，就通过submit提交给JobManage

一.JobGraph生成源码机制 0.先说结论 StreamGraph 转变成 JobGraph 也是在 Client 完成，主要做了以下几件事： 对StreamNode进行划分算子链(如"Sourc

一.源码机制解析 0.先说结论 用户代码定义阶段：通过 StreamExecutionEnvironment 创建环境，调用 map、filter、process 等算子定义逻辑数据流，这些算子会被封

基本概念 1.先说结论 Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图 StreamGraph：是根据用户通过

前言 不了解缓存器的，可以先看缓存器缓存器 不了解Aerospike的，可以先看 1.采用Caffine去做维度数据的缓存器 这里以Aerospike作为维度dim层数据存储，熟悉数仓的很了解dim

Flink1.12采用的是Akka，1.19换成了pekko，其实都差不多 具体不了解akka和actor的,请看Akka和Actor 一.初识RPC 1.RPC是啥 RPC是更广范的概念，是统称 而

1.介绍 (1) 功能 它是一组(多条)数据的匹配,比如data1来了符合模板1,然后data2来了符合模板2,data2紧跟data1后面,然后data3来了符合模板3,这样三条数据都符合一个大的p

1.提出问题和答案 先提一个问题：“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有

有一个Total Process Memory和一个Total Flink Memory。Total Process Memory表示整个Task Manager的进程内存，所有这张图的内存加在一块就

上一章节说到DorisWriter，这回说一下里面最核心的，真正干活的人---DorisStreamLoad 3.DorisStreamLoad--核心 (1) 写入流程源码分析 三个阶段：数据写入触

先说结论 0. Doris两阶段提交的基本步骤 第一阶段（Prepare） ： URL：http://hostPort/api/db/table/_stream_load（不带 _2pc 后缀）。 作