大数据技术与应用实战

flink 提供了一个module的概念，使用户能扩展flink的内置对象，比如内置函数。这个功能是插件化的，用户可以方便的加载或者移除相应的module。 flink内置了CoreModule，并且提供了一个hive module，允许用户在加载了hive module之后使…

1.11.0 之前，用户如果依赖 Flink 的 source/sink 读写关系型数据库或读取 changelog 时，必须要手动创建对应的 schema。但是这样会有一个问题，当数据库中的 schema 发生变化时，也需要手动更新对应的 Flink 任务以保持类型匹配，任何…

目前flink的sql客户端提供了一种交互式的sql查询服务，用户可以使用sql客户端执行一些sql的批任务或者流任务。但是当我想执行一些sql的定时任务时，flink却没有提供一个合适的方式，所以综合考虑了一下，我决定在sql的客户端基础上给加一个 '-filename (-…

随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。 所以zeppelin与flink或者是其他的解释器集成的时候，就会有这么一个架构的特点，我需要…

生产环境flume无法消费kafka，sink的文件为空。 且flume端的消费组一直在rebalance。 之后发现flume的sink文件大小有所增加，证明开始消费了。 最后滚动重启所有broker，flume恢复消费，nifi后续生产也不报错了。 但是这些参数的调整需要与…

flink在1.11 版本提供了一个新的提交任务模式--Applicaton模式，具体的使用可以参考 [详解flink 1.11中的新部署模式-Application模式]，使用该模式将会在集群的master节点提交任务，减少per job模式客户端和服务器之间的网络传输，减少…

目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。 这种模式会预先在yarn或者或者k8s上启动一个flink集群，然后将任务提交到这个集群上，这种模式，集群中的任务使用相同的资源，如果某一个任务出现了问题导致整个集群挂掉…

作为一个程序员，给世界上顶级的apache社区贡献一下自己的代码，成为一个apache contributer，把这个写到简历里，是不是觉得很爽，下面我结合apache flink来简单讲讲如何给apache 贡献你的第一行代码。 当我们想给apache贡献代码的时候，想必你是…

在flink 1.11之前的版本中，提供了两种生成水印（Watermark）的策略，分别是AssignerWithPunctuatedWatermarks和AssignerWithPeriodicWatermarks，这两个接口都继承自TimestampAssigner接口。 …