Flink 版本 | Kafka 版本 | ElasticSearch 版本 | 说明 |
---|---|---|---|
1.0.0 | >=0.8.x | 1. 支持scala 2. 支持Java 8 lambda | |
1.2.0 | >=0.10.x | ||
1.3.0 | 1、RocksDB的增量检查点 2、允许升级到状态序列化器(允许用户自定义序列化程序) | ||
1.4.0 | >=0.11.x | 无Hadoop的Flink (除了在没有Hadoop的情况下简单运行之外,这还使Flink能够动态使用classpath中可用的任何Hadoop版本) | |
1.5.0 | 1、Flink增加了对窗口外部等联接的支持(可以在事件时间和处理时间中在有限的时间范围内联接表) 2、SQL CLI客户端(用于在数据流上运行探索性查询) | ||
1.7.0 | >= 1.0.0 | Elasticsearch连接器 6 | 1、完全支持Scala 2.12 2、一次S3 StreamingFileSink(一次处理保证即可写入S3文件系统) 3、Elasticsearch连接器 6 4、社区添加了Kafka 2.0连接器,该连接器允许在具有一次保证的情况下读写Kafka 2.0 |
1.8.0 | 1、支持POJO状态模式演变 2、具有用户定义的函数和聚合的SQL模式检测(MATCH_RECOGNIZE子句的支持已通过多种功能扩展。用户定义功能的添加允许在模式检测期间自定义逻辑(FLINK-10597),而添加聚合则允许更复杂的CEP定义) 3、可以直接访问Kafka ConsumerRecord 4、支持子任务协调的全局聚合(GlobalAggregateManager 允许在并行子任务之间共享信息) | ||
1.9.0 | 1、Blink的查询处理器,具有一些新功能(例如,维表联接,TopN,重复数据删除)和优化功能来解决聚合中的数据倾斜问题以及更有用的内置功能 2、作为重构和拆分flink-table模块的一部分, Java用户现在可以使用Table API和/或SQL,而无需引入Scala依赖项。 3、通过一系列支持多行和/或多列输入和输出的转换,扩展了Table API的功能(行转列,列转行) 4、增加了对SQL DDL语句的支持,以注册和删除表和视图(CREATE TABLE, DROP TABLE) 5、Flink可以在Java 9上编译并运行 | ||
1.10.0 | 1、托管内存扩展(堆外) 2、简化的RocksDB配置 3、原生Kubernetes集成 (测试版)k8s 4、生产就绪的Hive集成, 完全兼容大部分Hive版本(Flink 1.9中的Hive支持是试验性的) 5、Hive 批处理SQL的本机分区支持(在Hive中写入静态和动态分区) | ||
1.11.0 | 1、支持JDBC目录接口和Postgres目录 2、支持具有对Avro,ORC和Parquet的支持的FileSystem连接器(数据从Kafka直接流式传输到Hive) 3、支持支持Python UDF |