xiangel

最近一年互联网行情不好，很多大厂都在裁员，但裁员并不是不要人做事了。原来你这个岗位10个人做，企业有钱赚养得起，现在企业不怎么赚钱了，只能养4个人了。那么会有六个被裁掉。...

Doris(原来叫POLO)是百度开源的一款高性能实时分析的MPP数据库，个人一直对MPP数据库的底层执行原理不是很了解，通过对Doris源码的学习，来熟悉底层的实现机制。...

本篇文章我们来学习下task间数据传输的具体实现。由于不同的task会运行在同一个TaskManager,也可能运行在不同的TaskManager，所以这里会存在网络通讯的...

工作中一直用到sparkSQL，但是对其底层实现不是很清楚，这里通过学习相关源码信息来加深对Spark的相关理解。这里以spark-3.2.1的源码来学习 第一篇，我们先从...

上一篇我们分析了Flink部署集群的过程和作业提交的方式，本篇我们来分析下，具体作业是如何被调度和计算的。具体分为2个部分来介绍 * 作业运行的整体框架，对相关的重要角色有...

本篇介绍了StreamGraph到JobGraph的转换过程，重点是多个StreamGraph的节点需要符合什么条件才能转换为一个chain的操作...

本篇重点介绍了Flink的部署模式，按Job提交方式和一个集群可同时运行任务的数量的不同，分为ApplicationMode和SessionMode2种模式。接着介绍了Cl...

本篇介绍Flink中是如何从JobGraph生成ExecutionGraph的，重点介绍了ExecutionGraph相关的核心类以及生成的过程...

计算模型 DataStream基础框架 事件时间和窗口 状态和容错 部署&调度 存储体系 底层支撑 Flink中提供了State(状态)这个概念来保存中间计算结果和缓存数据...

* 计算模型 * DataStream基础框架 * 事件时间和窗口 * 部署&调度 * 存储体系 * 底层支撑 # 概览 在实时计算处理时，需要跟时间来打交道，如实时风控场...

近期在系统的学习Flink，希望通过对Flink底层源码的学习来更深入了解Flink的相关实现逻辑。这里新开一个Flink源码解析的系列来深入介绍底层源码逻辑。说明：这里默...