Flink

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动 内容为参考伍翀老师的[讲课内容](GitHub - wuchong/flink-sql-demo at v1.11-CN)。 Flink 对

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 Flink 的 4 大基石为：Time , Window, State , Checkpoint.之前的文章已经学习了前面 3 个内容，接下

Flink 包含了自动的状态管理 例如进行单词的计数：下面的例子时持续的从 socket 读取输入的单词的一个例子，每次的计数都会跟历史的计数数量进行相加的。 这个结果其实就是维护了一个历史数据的状态

Flink 之所以这么流行，离不开它的核心的四大基石。 概述 聚合事件（例如，计数、总和）在流上的工作方式与批处理不同。 例如，不可能计算流中的所有元素，因为流通常是无限的（无界）。 相反，流上的聚合

官网关于 DataStream Connectors 的根目录为：Overview | Apache Flink 概述 Flink 内置了一些基本的数据源和接收器。 预定义的数据源包括从文件、目录和

DataStream Sink 的不同 API 用于操作数据源写入的方式，可以基于控制台或者文件，也可以基于自定义的方式，实际应用中，基于自定义的方式时比较常用的。 基于控制台和文件 自定义写入 my

本次学习 Flink 中关于 DataStream 中的源数据进行转化操作的 API. map 将函数作用在集合中的每一个元素上，并返回作用后的结果。 flatMap 将集合中的每个元素变成一个或多个

学习下 DataStream API 中几种[定义数据源](Overview | Apache Flink)的方式。 官网中给出了 4 种分类： 基于集合（Collection-based） from

在 Flink 的官方文档中对流数据和批数据有一个简单的说明.如图： 用一条时间轴来表示一个持续输入的数据流，那么当截取某一段时间内的数据时，也就时这段有开始时间和结束时间的数据，其实就是一批数据。也

client 客户端提交任务给 JobManager JobManager 负责申请任务运行锁需要的资源并管理任务和资源 JobManager 分发任务给 TaskManager 执行 TaskMan

原理 Flink 程序由 JobClient 进行提交 JobClient 将作业提交给 JobManager JobManager 负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的 T

下图展示 Flink 的整体架构图： 可以看出 Runtime 上提供了 2 种操作的 api,DataStream API 和 DataSet ApI.其中 DataSet API 用于批操作，Da