首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Flink
迷途码界
创建于2022-05-09
订阅专栏
Flink 使用的经验记录,分享
等 4 人订阅
共8篇文章
创建于2022-05-09
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Flink 自定义sink 向 Restful 风格接口发送数据
添加依赖 基于 Flink 服务提交任务并执行时需要的依赖包 基于 flink 服务器提交任务前,先上传依赖包到 flink 的 lib 目录下;然后重启 flink 服务,使 jar 进行加载;否则
Flink 自定义sink 写入 RabbitMQ
添加依赖 基于 Flink 服务提交任务并执行时需要的依赖包 基于 flink 服务器提交任务前,先上传依赖包到 flink 的 lib 目录下;
Flink 自定义sink 写入 Clickhouse
添加依赖 基于 Flink 服务提交任务并执行时需要的依赖包 基于 flink 服务器提交任务前,先上传依赖包到 flink 的 lib 目录下;
Flink 自定义sink 写入 Kafka
添加依赖 基于 Flink 服务提交任务并执行时需要的依赖包 基于 flink 服务器提交任务前,先上传依赖包到 flink 的 lib 目录下;
Flink 自定义source 写入 Kafka
添加依赖 基于 Flink 服务提交任务并执行时需要的依赖包 基于 flink 服务器提交任务前,先上传依赖包到
Flink 动态加载 Jar 包,实现自定义算子加载执行
Flink 动态加载 Jar 包,实现自定义算子加载执行,动态加载Jar 对应的参数: path:Jar 的存放路径。 env:Flink 的环境实例。 classPath:动态Jar的类路径。
Flink 使用 ProcessFunction 处理时间乱序数据
由于业务数据采集是获取的数据有时并不能保证数据的顺序传输,错误的数据顺序可能会带来业务的异常。 例如:合并宽表时最后更新的数据比之前更新的数据先到达并被处理,将出现脏数据情况。
Flink 使用 watermark + window 处理时间乱序数据
时间乱序数据情况 由于业务数据采集是获取的数据有时并不能保证数据的顺序传输,错误的数据顺序可能会带来业务的异常。