Flink 各大版本功能说明

1,707 阅读2分钟
Flink 版本Kafka 版本ElasticSearch 版本说明
1.0.0>=0.8.x1. 支持scala
2. 支持Java 8 lambda
1.2.0>=0.10.x
1.3.01、RocksDB的增量检查点
2、允许升级到状态序列化器(允许用户自定义序列化程序)
1.4.0>=0.11.x无Hadoop的Flink (除了在没有Hadoop的情况下简单运行之外,这还使Flink能够动态使用classpath中可用的任何Hadoop版本)
1.5.01、Flink增加了对窗口外部等联接的支持(可以在事件时间和处理时间中在有限的时间范围内联接表)
2、SQL CLI客户端(用于在数据流上运行探索性查询)
1.7.0>= 1.0.0Elasticsearch连接器 61、完全支持Scala 2.12
2、一次S3 StreamingFileSink(一次处理保证即可写入S3文件系统)
3、Elasticsearch连接器 6
4、社区添加了Kafka 2.0连接器,该连接器允许在具有一次保证的情况下读写Kafka 2.0
1.8.01、支持POJO状态模式演变
2、具有用户定义的函数和聚合的SQL模式检测(MATCH_RECOGNIZE子句的支持已通过多种功能扩展。用户定义功能的添加允许在模式检测期间自定义逻辑(FLINK-10597),而添加聚合则允许更复杂的CEP定义)
3、可以直接访问Kafka ConsumerRecord
4、支持子任务协调的全局聚合(GlobalAggregateManager 允许在并行子任务之间共享信息)
1.9.01、Blink的查询处理器,具有一些新功能(例如,维表联接,TopN,重复数据删除)和优化功能来解决聚合中的数据倾斜问题以及更有用的内置功能
2、作为重构和拆分flink-table模块的一部分, Java用户现在可以使用Table API和/或SQL,而无需引入Scala依赖项
3、通过一系列支持多行和/或多列输入和输出的转换,扩展了Table API的功能(行转列,列转行
4、增加了对SQL DDL语句的支持,以注册和删除表和视图(CREATE TABLE, DROP TABLE)
5、Flink可以在Java 9上编译并运行
1.10.01、托管内存扩展(堆外
2、简化的RocksDB配置
3、原生Kubernetes集成 (测试版)k8s
4、生产就绪的Hive集成, 完全兼容大部分Hive版本(Flink 1.9中的Hive支持是试验性的)
5、Hive 批处理SQL的本机分区支持(在Hive中写入静态和动态分区
1.11.01、支持JDBC目录接口和Postgres目录
2、支持具有对Avro,ORC和Parquet的支持的FileSystem连接器(数据从Kafka直接流式传输到Hive)
3、支持支持Python UDF