jiuquguiyu

本文适用于flink1.10-1.12版本。1.flink on k8s 的APP 模式下，读取hadoop需要先添加依赖jar包，我是添加flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 这个jar包到flink的lib目录下，如果你使用的是其...

Standalone模式需要提前确认好每个任务需要使用的资源，并在配置文件里面配置，每一个任务都是固定资源大小，申请多了浪费，少了怕出问题。Native模式不需要预先确定需要使用的资源数量，系统会实时根据任务需要自动去k8s集群申请能申请到的资源。Application模式资源隔...

当我们要实现自定义数据源的时候，我们需要先实现DynamicTableSourceFactory, DynamicTableSinkFactory这两个工厂类，在工厂类里面去实现参数定义和数据源的创建，然后再数据源DynamicTableSource和DynamicTableSi...

sealer是阿里巴巴开源的集群镜像的一个实现方式，项目地址：https://github.com/sealerio/sealer 。sealer[ˈsiːlər]是一款分布式应用打包交付运行的解决方案，通过把分布式应用及其数据库中间件等依赖一起打包以解决应用整个集群整体交付问题...

Flink中的执行图一般是可以分为四类，按照生成顺序分别为：StreamGraph-> JobGraph-> ExecutionGraph->物理执行图。顾名思义，这里代表的是我们编写的流程序图。通过Stream API生成，这是执行图的最原始拓扑数据结构。StreamGraph...

高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。Producer ：消息生产者，就是向 kafka broker 发消息的客户端。...