面向Google编程

经过前面的学习，Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。 数据输出 话不多说，我们直接进入正题。首先来看 T...

今天来梳理一下 Flink 双流操作相关的源码。 写在前面 通过Flink学习笔记：多流 Join一文的介绍，我们知道 Flink 有三种数据关联的方式，分别是 Windo...

前文我们梳理了 Watermark 相关的源码，Watermark 的作用就是用来触发窗口，本文我们就一起看一下窗口相关的源码。 写在前面 在Flink学习笔记：窗口一文中...

前面我们已经梳理了 Flink 状态和 Checkpoint 相关的源码。从本文开始，我们再来关注另外几个核心概念，即时间、Watermark 和窗口。 写在前面 在 Fl...

前文我们介绍了 Flink 的四种执行图，并且通过源码了解了 Flink 的 StreamGraph 是怎么生成的，本文我们就一起来看下 Flink 的另一种执行图——Jo...

我们继续来聊 Flink 容错相关的内容。前面在介绍 Checkpoint 和 Savepoint 时提到了 State 的稳定存储，那究竟如何存储以及存储在什么地方呢？相...

Flink 中有四种执行图，分别是 StreamGraph、JobGraph、ExecutionGraph 和 Physical Graph。今天我们来看下我们编写的 Fl...

Flink 被广泛应用的原因，除了我们前面提到的对时间以及窗口的应用之外，另一点就是它强大的容错机制，以及对 Exactly Once 的支持。 今天就来了解一下 Flin...

今天来聊在 Flink 运维过程中比较常见的一个问题：反压。 什么是反压 反压是流式系统中关于数据处理能力的动态反馈机制，并且是从下游到上游的反馈，一般发生在上游节点的生产...

前文我们梳理了 Flink 状态管理相关的源码，我们知道，状态是要与 Checkpoint 配合使用的。因此，本文我们就一起来看一下 Checkpoint 相关的源码。 写...

书接上回，前文我们梳理的 Checkpoint 机制的源码，但是对于如何写入状态数据并没有深入了解。今天就一起来梳理一下这部分代码。 写在前面 前面我们了解到在 Strea...

现在我们已经了解了 Flink 的状态如何定义和使用，那 Flink 是如何做容错的呢？今天我们一起来了解一下。 先来回答问题， Flink 是通过状态快照来做容错的，在 ...

前文中，我们已经了解了 Flink 的三种执行图是怎么生成的。今天继续看一下 Flink 集群是如何启动的。 启动脚本 集群启动脚本的位置在： 脚本会负责启动 JobMan...

今天我们一起来了解 Flink 最后一种执行图，ExecutionGraph 的执行过程。 基本概念 在阅读源码之前，我们先来了解一下 ExecutionGraph 中的一...

前面我们介绍了 Flink 状态的分类和应用。今天从源码层面再看一下 Flink 是如何管理状态的。 State 概述 关于 State 的详细介绍可以参考 Flink学习...

一行不起眼的代码，一次直通 Go 源码的奇妙旅程 去年，在我日常阅读 Golang 官方 issue 时，一条并不起眼的问题引起了我的注意。 某位开发者在 Go 的 tex...

大家好，我是老兵。 本系列为大数据技术栈面试体系系列，每期将分享一个技术组件的知识全体系，并结合面试的形式由浅入深讲解。 本期将介绍大数据实时计算利器Flink面试体系。...

0. 什么是ZooKeeper ZooKeeper 是一个开源的分布式，它的设计目标是将那些复杂且容易出错的分布式协同服务封装起来，抽象出一个高效可靠的原语集，并以一系列简...

今天来聊一个 Elasticsearch 的另一个关键概念——相关性算分。在查询 API 的结果中，我们经常会看到 _score 这个字段，它就是用来表示相关性算分的字段，...