今天我们结合 `Kubernetes` 和 `Flink 1.14` 版本，通过 图解 + 实战教程，为大家全面讲解 Flink on K8S 的安装部署、运行原理、提交流程

本文介绍了Dinky与K8s集成指南，包括环境准备、服务账号创建、镜像制作、Dockerfile编写、镜像构建推送、Kubernetes集群配置，以及FlinkSQL任务的提交。

最近在做一些数据迁移相关工作，并最终采用了DataX，楼主也本着知其然，也要知其所以然的精神粗略的看一看Datax的源码。

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 前段时间我在 K8s 相关文章中有提到过数据同步的项目，该项目就是…

Alink漫谈(一):从KMeans算法实现不同看Alink设计思想0x00摘要0x01Flink是什么0x02Alink是什么0x03Alink设计思路1.白手起家2.替代品如何造成威胁3.用户角度

以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往存在全删全插、增量累全算法的数据表应用。 主要应用在维表、参数表、主档表加载上，即适合源表是全量数据表，该数据表业务逻辑只需保存当前最新全量数…

这一系列主要是美团18年一年的大数据相关的文章分享，倒序。 从中可以看到美团的实时数据系统架构从Storm到Flink的转变和选择。 数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。 需求越来越多，有的需要明细数据，有的需要 OLAP 分析。单一的开发模式难以应付多种需…

正常流向：ODS>DWD->DWT->DWA->APP，当出现ODS >DWD->DWA->APP这种关系时，说明主题域未覆盖全。应将DWD数据落到DWT中，对于使用频度非常低的表允许DWD->DWA。 尽量避免出现DWA宽表中使用DWD又使用（该DWD所归属主题域）DWT的表…

Innodb,Myisam,Ndb做数据存储引擎。