mayishijie

1. 从集合读取数据 2. 从文件读取数据 3. 以kafka队列数据作为数据来源 4. 自定义source

1. 窗口概述 一般真实的流都是无界的，处理这种无界的数据，我们一般都是将这些无限数据流进行切分，得到有限数据集进行业务处理。 窗口（window）就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析。 1. window 类型 2. 滚…

1. Flink on Yarn Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。 1. Session-Cluster Session-Cluster模式需要先启动集群，然后再提交作业，接着会向yarn申请…

JDK1.5-11新特性汇总

下面通过一个小例子来看看如何自定义数据源定义一个样例类SensorReading，封装温度数据继承RichParallelSourceFunction类，实现方法，并自己写一个实现无限流数据的方法定义

1. 程序与数据流(DataFlow) 每一个dataflow以一个或多个sources开始以一个或多个sinks结束。dataflow类似于任意的有向无环图（DAG） 2. 执行图（Execution Graph） 3. 并行度(Parallelism) 一个特定算子的 子任…

1. 任务提交流程 1. 独立集群任务提交 2. yarn方式的集群资源管理 粗略概述，后续针对该方式，会有详细的补充说明。 2. 任务调度原理 3. TaskManager和slots 1. 概述图 2. 详细图 3. 详细分析实例

一般分布式架构，都是主从架构，只是主从节点，每种架构用途不太一样。在flink中，作业管理器就是相当于Master，任务管理器，就相当于slave，类似于spark中的Executor 1. 作业管理器（JobManager,master节点） 2. 任务管理器（TaskMan…

1. 环境准备 2. 基本操作