首页
首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Flink
细思极恐
创建于2021-07-29
订阅专栏
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。
等 1 人订阅
共18篇文章
创建于2021-07-29
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Flink算子间数据传递模式
算子之间传输数据的形式可以是` one-to-one (forwarding) `的模式也可以是`redistributing `的模式,具体是哪一种形式,取决于算子的种类。
Flink运行时组件和基于Yarn的任务提交
Flink任务提交 后首先会启动一个 Client进程负责作业的编译与提交,它首先将用户编写的代码编译为一个 JobGraph 。
Windows窗口函数(增量聚合)
ProcessWindowFunction可以与ReduceFunction或AggregateFunction组合在一起,在元素到达窗口时增量地聚合它们。
如何理解Flink中Window?
Streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而 window 是一种切割无限数据 为有限块进行处理的手段。
低级处理函数ProcessFunction
ProcessFunction 可以被认为是一种提供了对 KeyedState 和定时器访问的 FlatMapFunction。每在输入流中接收到一个事件,就会调用来此函数来处理。
Flink Table Api详解(算子)
Table API是用于流和批处理的统一的关系API,是SQL语言的超集,可以在批处理或流输入上运行而无需修改,是专门为使用Apache Flink设计的。
Table Api & SQL查询配置(状态清理)
无论Table API和SQL查询的输入是有界批处理输入还是无界流输入为连续查询必须限制它们所维护的状态的大小,以避免存储空间用完并能够长时间处理无限制的流数据。
Table Api & SQL连续查询Join
Join是批处理数据处理中常见且易于理解的操作,用于连接两个关系的行。 但是,动态表上的连接语义不太明显甚至令人困惑。
Flink Table API & SQL时间属性
Table API和SQL中基于时间的操作(如窗口)需要有关时间概念及其来源的信息。因此,Table可以提供逻辑时间属性,用于指示时间和访问表程序中的相应时间戳。
Flink Temporal tables
Temporal table时态表表示改变的历史记录表上的(参数化)视图的概念,该表返回特定时间点的表的内容。
Flink动态表 (Dynamic Table)
与静态表相比,动态表会随时间而变化,但可以像静态表一样查询动态表,只不过查询动态表需要产生连续查询。
Flink Table API & SQL概念和通用API
Apache Flink 具有两个关系 API - Table API 和 SQL -用于统一流和批处理。
Flink DataStream中join
window join 将共享相同 key 并位于同一窗口中的两个流的元素联接在一起,发出满足联接条件的结果。
Flink从入门到项目实践
集成Flink(Source、Sink、状态编程、窗口处理、多流join、侧输出、异步IO等)各个功能点
Flink中Time&Window
Flink认为Batch是Streaming的一个特例,因为Flink底层引擎是流式引擎,在此上实现了流处理和批处理。而窗口(Window)到Batch的桥梁,Flink提供了非常完善的窗口机制。
Flink触发器Triggers
触发器确定窗口(由窗口分配器形成)何时准备好由窗口功能处理。每个WindowAssigner都带有一个默认触发器。
Flink入门
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。
Flink窗口起始时间计算
Flink中窗口的时间不是根据进入窗口的第一个元素计为窗口的开始时间和加Size计窗口结束时间,而是根据Flink内置计算公式。