Flink实时框架--源码

一.ExecutionGraph源码机制 首先，我们要了解到，StreamGraph和JobGraph都是在client创建的，client创建完这俩图后呢，就通过submit提交给JobManage

一.JobGraph生成源码机制 0.先说结论 StreamGraph 转变成 JobGraph 也是在 Client 完成，主要做了以下几件事： 对StreamNode进行划分算子链(如"Sourc

一.源码机制解析 0.先说结论 用户代码定义阶段：通过 StreamExecutionEnvironment 创建环境，调用 map、filter、process 等算子定义逻辑数据流，这些算子会被封

基本概念 1.先说结论 Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图 StreamGraph：是根据用户通过

前言 不了解缓存器的，可以先看缓存器缓存器 不了解Aerospike的，可以先看 1.采用Caffine去做维度数据的缓存器 这里以Aerospike作为维度dim层数据存储，熟悉数仓的很了解dim

Flink1.12采用的是Akka，1.19换成了pekko，其实都差不多 具体不了解akka和actor的,请看Akka和Actor 一.初识RPC 1.RPC是啥 RPC是更广范的概念，是统称 而

1.介绍 (1) 功能 它是一组(多条)数据的匹配,比如data1来了符合模板1,然后data2来了符合模板2,data2紧跟data1后面,然后data3来了符合模板3,这样三条数据都符合一个大的p

1.提出问题和答案 先提一个问题：“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有

0.信用机制 例如，对于一个 RemoteInputChannel，其初始信用值由配置参数 taskmanager.network.credit-model.initial-credit 决定（默认值

有一个Total Process Memory和一个Total Flink Memory。Total Process Memory表示整个Task Manager的进程内存，所有这张图的内存加在一块就

上一章节说到DorisWriter，这回说一下里面最核心的，真正干活的人---DorisStreamLoad 3.DorisStreamLoad--核心 (1) 写入流程源码分析 三个阶段：数据写入触

先说结论 0. Doris两阶段提交的基本步骤 第一阶段（Prepare） ： URL：http://hostPort/api/db/table/_stream_load（不带 _2pc 后缀）。 作