本文对Flink Iceberg read connector的源码做了一个解读，分析了该版本 connector的核心代码及流程。

前言 Flink 作业需要借助 State 来完成聚合、Join 等有状态的计算任务，而 State 也一直都是作业调优的一个重点。

汽车之家在基于 Flink 的实时物化视图的一些实践经验与探索，并尝试让用户直接以批处理 SQL 的思路开发 Flink Streaming SQL 任务。

一、实时数仓建设背景 1. 实时需求日趋迫切 目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑

现如今想阅读 HashMap 源码实际上比较简单，因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap。而本文是全网首篇详细分析 CopyOnWriteStateTable 源码的博客，阅读复杂集合类源码的过程是相当有挑战的，笔者在刚开始阅读也遇到很…

本文将简述Flink SQL / Table API的内部实现，为大家把 "从SQL语句到具体执行" 这个流程串起来。 后续我们会以这个图为脉络进行讲解。 Flink Table API&SQL 为流式数据和静态数据的关系查询保留统一的接口，而且利用了Apache C…

当我们碰到一项新的技术时，我们应该怎样去学习并应用它呢？在我个人看来，有这样一个学习的路径，应该把它拆成应用和实现两块。首先应该从它的应用入手，然后再深入它的实现。 应用主要分为三个部分，首先应该了解它的应用场景，比如窗口的一些使用场景。然后，进一步地我们去了解它的编程接口，最…

版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何问题，可随时联系。 在批处理过程中，数据是划分为…

在数据中台建设过程中，一个典型的数据集成场景是将 MQ(Message Queue，例如 Kafka、RocketMQ 等)的数据导入到 Hive 中，以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层，因此对数据的准确性以及实时性要求比较高。 本文主要围绕 …