简介： 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的

Watermark即水印、水位线，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前事件时间。通过使用水位线机制，能够动态地处理乱序事件，并在保证准确性的同时提供低延迟的数据处理。

Apache Hudi 是由 Uber 开发并开源的数据湖框架，它于 2019 年 1 月进入 Apache 孵化器孵化，次年 5 月份顺利毕业晋升为 Apache 顶级项目。是当前最为热门的数据湖框架之一。 1. 为何要解耦 Hudi 自诞生至今一直使用 Spark 作为其数…

本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型的不断优化演进。

Flink使用异步算子请求高德地图获取位置信息 1）Flink异步算子的使用 2）请求高德地图API

因为目前我们线上的Flink版本是用的1.11。所以这个系列博客从Flink1.11的代码跟读起来 点开execute方法,看到如注释所示。这个函数作用为触发flink程序执行，在设置的StreamExecutionGraph的数据DAG图中，将默认使用输出流作为Sink。当执…

现在我们想实现这么一个功能，也是单词计数，不过这个单词计数要实现，自定义一个阈值然后每次到达阈值时就进行print的功能。要是已经对Flink有一定了解的小伙伴就肯定知道，我们只需要自定义一个下游就好了 可是这个程序明显存在着一个问题，因为数据是存储在内存里面的，程序重启的时候…

介绍的主题是 Flink 和 Hudi 在数据湖 Streaming 方向的一些探索和实践，将会围绕以下四点展开： • Apache Hudi 背景介绍 • Flink Hudi 设计 • Hudi

项目实战，参数配置化Spark将Hive表的数据写入需要用户名密码认证的ElasticSearch（Java版本），方便快捷。