前文解决了数据同步的执行顺序问题后，接着又遇到了典型的数据倾斜问题，解决起来并不复杂，涉及到观测和逆向思维，我觉得还是蛮有意思的，就记录一下。

今天我们来认识一下flink并且来学习一下flink批量消费kafka数据的代码开发，到今天，大数据入门案例kafka消费系列就结束了，欢迎大家关注的我后续文章！

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Fl…

Flink+Kafka如何实现端到端的exactly-once语义 内部-利用 checkpoint 机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性; source-kafka con

本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行…

从1.5.0开始，Flink提供了一种新的State类型，称为Broadcast State。在这篇文章中，我们将解释什么是Broadcast State，并展示如何将其应用于评估事件流上的动态模式的应用的示例。我们将向您介绍处理步骤和源代码，以实现此应用。 Broadcast…

序本文主要研究一下flink的BroadcastState实例这里模拟了一个配置的source，定时去刷新配置，然后broadcast到每个taskMapStateDescriptorflink-co

在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需

维表JOIN-绕不过去的业务场景在Flink流处理过程中，经常需要和外部系统进行交互，用维度表补全事实表中的字段。例如：在电商场景中，需要一个商品的skuid去关联商品的一些属性，例如商品所属行业、商