Natasha_

我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的，例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。而这在一些应用场景下，极为重要。基于此，DataStream API提供了一系列的Low-Level转换算子，可以访问时间戳、w…

1. Window编程接口 首先，我们要决定是否对一个DataStream按照Key进行分组，这一步必须在窗口计算之前进行。 针对经过keyBy的窗口（Keyed Window）数据流将被分成多组数据，下游算子可以多个实例并行计算。 经过windowAll的算子是不分组的窗口（…

1. Kafka的特点 消息系统：生存者消费者模型，先入先出（FIFO）。Partition内部是FIFO的，partition之间呢不是FIFO的，当然我们可以把topic设为一个partition，这样就是严格的FIFO。 持久化：可进行持久化操作。将消息持久化到磁盘，因此…

1. 多副本数据同步策略 为了提高消息的可靠性，Kafka每个Topic的partition都有N个副本。这N个副本中，其中一个replica是Leader，其他都是Follower。在 Kafka 中追随者副本是不对外提供服务的，所有的请求都必须由领导者副本来处理。 而Fol…

1. HDFS介绍 HDFS(The Hadoop Distributed File System)，是被设计成适合运行在通用硬件上的 Hadoop 的分布式文件系统。它与其他的分布式系统有非常显著的不同，首先 HDFS 具有高容错性，并且它可以被部署到廉价的硬件上。此外，HD…

1. 什么是控制器 控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 B…

1. 副本作用 首先你会毫不犹豫的说出：高可用性。这太容易理解了，就好像我们平时会把重要文件备份成两份放U盘一样。这样电脑万一被黑客入侵了，也不怕不怕啦。 分布式系统副本机制也是这么做的，通过提供数据冗余，即使系统部分组件失效，系统依然能够继续运转，增加了整体可用性以及数据持久…

1. 压测目的 本次性能测试在测试环境下三台集群环境上，对Kafka的生产和消费能力进行压力测试，根据不同量级的消息处理结果，评估Kafka的处理性能是否满足项目需求（该项目期望Kafka能够处理上亿级别的MQ消息）。 2. 内容 具体使用脚本为kafka自带的测试脚本，分别为…

EventTime: 事件发生时间，是事件发生所在设备的当地时间，比如一个点击事件的时间发生时间，是用户点击操作所在的手机或电脑的时间。 IngestionTime：事件摄入时间，事件进入Flink的时间。 processTime：事件处理时间，事件被处理的时间，也就是由机器的…