大数据

本文已参与「新人创作礼」活动，一起开启掘金创作之路。Flume02：【案例】Channel Selectors01：多Channel之Multiplexing Channel Selector（二）

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 接下来看案例2 一、多Channel之Multiplexing Channel Selector 作为Multiplexing选择器的规则 主要增

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Flume 中文文档：https://flume.liyifeng.org/ Flume NG 高级组件 除了 Source、channel、Si

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 Split 的缺点： 这是什么原因呢？我们在源码中可以看到注释，该方式已经废弃并且建议使用最新的 SideOutPut 进行分流操作。 3. Si

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 分流场景 通常来说针对不同的场景，有以下三种办法进行流的拆分。 Filter 分流 Split 分流 SideOutPut 分流 1. Filte

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 1. 为什么要使用编码？ 我们知道计算机说到底都是用二进制的0、1的排列组合来表示数据的，因此就需要有一个规范，来枚举规定每个字符对应哪个0、1的

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 什么是时间语义 在事件发生之后，生成的数据被收集起来，首先进入分布式消息队列，然后被 Flink 系统中的 Source 算子读取消费，进而向下游

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 尽管在大数据处理中直接与 MySQL 交互的场景不多，但最终处理的计算结果是要给外部应用消费使用的，而外部应用读取的数据存储往往就是 MySQL。

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 其中的核心层就是 DataStream/DataSet API。由于从 1.12.0 版本起，Flink 实现了 API 上的流批统一，DataS

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 在事件时间语义（ProcessTime）下，利用商品的生产时间（数据的时间戳）了。我们可以这样思考：一般情况下，商品生产出来之后，就会立即传送到车

本文已参与「新人创作礼」活动，一起开启掘金创作之路。 水位线 在实际应用中，一般会采用事件时间语义。而水位线，就是基于事件时间（EventTime）提出的概念。一个数据产生的时刻，就是流处理中事件触发