Flink+ClickHouse 玩转企业级实时大数据开发

Flink发展史&特点&行业应用

Flink发展史

2008：柏林理工大学的一个研究性项目Stratosphere

2014-04：Stratosphere贡献给Apache基金会，成为Apache的孵化项目

2014-12：成为Apache顶级项目

18 Jun 2015：发布0.9版本(第一个稳定版本) Flink+ClickHouse 玩转企业级实时大数据开发 提娶码：69qe

3 Mar 2016：Flink 1.0.0

3 Aug 2016：Flink 1.1.0

30 Jan 2017：Flink 1.2.0；

26 May 2017：Flink 1.3.0；

12 Dec 2017：Flink 1.4.0；

26 May 2018：Flink 1.5.0；

9 Aug 2018：Flink 1.6.0；

30 Nov 2018：Flink 1.7.0；

第17章 【拓展】基于Flink构建实时数仓项目实战

17-1 课程目录、17-2 实时数仓架构及分层 、17-3 认识Canal 、17-4 Canal对接Kafka联调、17-5 使用TCP方式拉取Canal数据、17-6 双流JOIN设计思路 、17-7 双流JOIN实现之对接数据 、17-8 双流JOIN实现之设置WM 、17-9 双流JOIN实现之JOIN实现 、17-10 双流JOIN实现之未关联上的数据处理方案、17-11 实时数仓数据流转&命名规范。

2019年1月8日，阿里巴巴以9000万欧元收购该公司！

9 Apr 2019：Flink 1.8.0

22 Aug 2019：Flink 1.9.0

11 Feb 2020：Flink 1.10.0

6 Jul 2020：Flink 1.11.0

7 Dec 2020：Flink 1.12.0

Apr 2021：Flink 1.13.0

Flink的特点：

支持Scala和Java API

支持批流一体

同时支持高吞吐、低延迟、高性能

支持事件时间和处理时间语义，基于事件时间语义能够针对无序事件提供精确、一致的结果；基于处理时间语义能够用在具有极低延迟需求用中

支持不同时间语义下的窗口编程

支持有状态计算

第16章 Flink版本升级篇16-1 课程目录、16-2 开发环境准备 、16-3 老版本keyBy的用法 、16-4 新版本keyBy的用法、16-5 老版本WM的用法 、16-6 新版本WM的用法、16-7 新老版本Table API&SQL整合WM的用法、16-8 Flink on YARN运行及升级。

支持具有Backpressure功能的持续流模型

提供精确一次（exactly once）的状态一致性保障

Flink在JVM内部实现了自己的内存管理

基于轻量级的分布式快照CheckPoint的容错

支持SavePoint机制，手工触发，适用于升级

支持高可用性配置（无单点失效），与k8s、Yarn、Apache Mesos紧密集成。