面向Google编程

前文我们聊了生产者压缩机制相关的知识点，压缩机制主要是为了节省资源并提高吞吐。本文我们再来看一下 Kafka 的可靠性机制。 写在前面 在正式开始之前，先来回顾一下前面留的...

前面了解了生产端的分区机制后，我们继续来看生产端的另一个重要的机制——压缩。 压缩与解压 说到压缩，第一个问题一定是 Kafka 在哪里进行压缩，又是在哪里进行解压的？ 我...

在前面的文章中，我们主要学习了 Kafka 服务端的相关知识。从本文开始，我们将视角转到客户端。 分区的核心逻辑 在从零学习Kafka：集群架构和基本概念一文中，我们了解了...

在 Kafka 的演进史中，抛弃 ZooKeeper 模式，拥抱 KRaft 模式这一变化被认为是其架构上最重要的一次变革。本文我们就来讨论 Kafka 为什么要抛弃 Zo...

前面在学习配置参数时，有同学指出没有 SSL 相关的参数，那么今天就整体看一下 Kafka 的认证机制有哪些。 Kafka 认证机制 在当前版本中，安全机制已经变为生产环境...

还记得上一篇文章最后的问题吗，什么是 LEO（Log End Offset）？它其实是 Kafka 位移相关的一个核心概念，本文我们就从位移开始，把相关的概念理清楚。 什么...

前面我们了解了 Kafka 的数据是如何存储的，今天我们来学习 Kafka 中另外一个重要的概念：副本。 写在前面 我们已经知道了数据在写入 Kafka 时，会先把数据写入...

不知道有没有朋友和我一样，虽然了解 Kafka 的逻辑存储，例如 Broker、Topic、Partition 这些概念，但是对于底层数据是如何存储还是比较模糊。这样聊起来...

前面我们对 Kafka 的整体架构和一些关键的概念有了一个基本的认知，本文主要介绍 Kafka 的一些配置参数。掌握这些参数的作用对我们的运维和调优工作还是非常有帮助的。 ...

在前文中，我们从源码层面介绍了 Flink 的 Kafka Connector 的实现。从本文开始，我们的目标也正式从 Flink 过渡到 Kafka。...

本文我们来梳理 Kafka Connector 相关的源码。 自定义 Source 和 Sink 在介绍 Kafka Connector 之前，我们先来看一下在 Flink...

本文我们来梳理 Flink 的线程模型——Mailbox。在以前的线程模型中，Flink 通过 checkpointLock 来隔离保证不同线程在修改内部状态时的正确性。...

JobManager 在 Flink 集群中发挥着重要的作用，包括任务调度和资源管理等工作。如果 JobManager 宕机，那么整个集群的任务都将失败。为了解决 JobM...

前文中我们了解了 Flink 的数据交互过程，上游的 Task 将数据写入到 ResultSubpartition 的 buffers 队列中。下游的 Task 通过 Lo...

经过前面的学习，Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。 数据输出 话不多说，我们直接进入正题。首先来看 T...

今天来梳理一下 Flink 双流操作相关的源码。 写在前面 通过Flink学习笔记：多流 Join一文的介绍，我们知道 Flink 有三种数据关联的方式，分别是 Windo...

前文我们梳理了 Watermark 相关的源码，Watermark 的作用就是用来触发窗口，本文我们就一起看一下窗口相关的源码。 写在前面 在Flink学习笔记：窗口一文中...

前面我们已经梳理了 Flink 状态和 Checkpoint 相关的源码。从本文开始，我们再来关注另外几个核心概念，即时间、Watermark 和窗口。 写在前面 在 Fl...

我们继续来聊 Flink 容错相关的内容。前面在介绍 Checkpoint 和 Savepoint 时提到了 State 的稳定存储，那究竟如何存储以及存储在什么地方呢？相...

前文我们介绍了 Flink 的四种执行图，并且通过源码了解了 Flink 的 StreamGraph 是怎么生成的，本文我们就一起来看下 Flink 的另一种执行图——Jo...