这是我参加[第四届青训营]笔记创作活动的第3天。 1、概述
计算引擎（hive\spark\flink）
事件时间需要Watermark配合来处理乱序
02、Watermark 系统认为的当前真实的事件时间
迟到数据处理 window的基本功能
滚动窗口 每个key单独划分 每条数据只属于一个窗口
窗口触发： 一次性触犯
滑动窗口，每条数据可能属于多个窗口
会话窗口
1、allow lateness
2、sideoutput 增量计算和全量计算
emit触发 提前把计算部分结果输出出来
sql也可以使用，通过配置： table.exec.emit.early-fire.enabled=true
window的高级优化 mine-batch优化 倾斜优化
需求一 使用flink sql 计算抖音的日货曲线
3、具体理解
一、Window 1.Window概述
streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。 Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的"buckets"桶，我们可以在这些桶上做计算操作。 2.Window类型
Window可以分为两类： 1）CountWindow：按照指定数据条数生成一个Window，与时间无关。 2）TimeWindow：按照时间生成Window。Time Window可以根据窗口的实现原理的不同分成三类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。 2.1滚动窗口（Tumbling Windows）
将数据依据固定的窗口长度对数据进行切片。 特点：时间对齐，窗口长度固定，没有重叠。 滚动窗口分配器将每个元素分配到一个指定窗口大小的窗口中，滚动窗口有一个固定的大小，并且不会出现重叠。例如：如果你指定了一个5分钟大小的滚动窗口，窗口的创建如下图所示： 在这里插入图片描述 出现在边界的数据要根据规定划分，例如时间前闭后开、前开后闭等等。 适用场景：适合做BI统计等（做每个时间段的聚合计算） 2.2滑动窗口（Sliding Windows）
滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。 特点：时间对齐，窗口长度固定，可以有重叠。 滑动窗口分配器将元素分配到固定长度的窗口中，与滚动窗口类似，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。因此，滑动窗口如果滑动参数小于窗口大小的话，窗口是可以重叠的，在这种情况下元素会被分配到多个窗口中。 例如，你有10分钟的窗口和5分钟的滑动，那么每个窗口中5分钟的窗口里包含着上个10分钟产生的数据，如下图所示： 在这里插入图片描述 实际上滚动窗口时滑动窗口的一个特例，它的窗口长度和滑动间隔相等。 适用场景：对最近一个时间段内的统计（求某接口5最近5min的失败率来决定是否要报警） 2.3会话窗口（Session Windows）
由一系列事件组合一个指定时间长度的timeout间隙组成，类似于web应用的session，也就是一段时间没有接收到新数据就会生成新的窗口。 特点：时间无对齐。 session窗口分配器通过session活动来对元素进行分组，session窗口跟滚动窗口和滑动窗口相比，不会有重叠和固定的开始时间和结束时间的情况，相反，当它在一个固定的时间周期内不再收到元素，即非活动间隔产生，那个这个窗口就会关闭。一个session窗口通过一个session间隔来配置，这个session间隔定义了非活跃周期的长度，当这个非活跃周期产生，那么当前的session将关闭并且后续的元素将被分配到新的session窗口中去。
