Hudi（Hadoop Upserts Deletes and Incrementals），简称Hudi，是一个流式数据湖平台，关于Hudi的更多介绍可以参考我以下几篇文章：

在云原生计算时代，云存储使得海量数据能以低成本进行存储，但是这也给如何访问、管理和使用这些云上的数据提出了挑战。而 Iceberg 作为一种云原生的表格式，可以很好地应对这些挑战。

这位同学，你比上一位面试者好多了，你的简历中做的几个项目都不错。既有业务项目，也有技术项目，看得出你对编程开发是有一定的经验积累的。

本文将在此前搭建的数据湖系统上使用Flink分布式引擎来实时读取Kafka中的数据并入湖，我们会使用trino命令行sql来查看入湖的数据。flink任务使用搭建的flinkOperator进行提交。

本篇我们在一台ECS服务器上安装Flink SQL Client, 然后尝试在数据湖中建表以及添加数据。

现在业界对数据胡Flink+Iceberg的关注度相对高，而且还能看到一些公司在生产环境上的使用。通过对这个技术的相关调研，本文对比了这个技术点相比于Hive和Kafka的一些优点。

截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。 但是，…

简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能，定期把 state 持久化下来，而这一持久化的过程就叫做 checkpoint ，它是 Flink Job 在某一时刻全局状态的快照。 当我们要对分布式系统实现一个全局状态保留的功能时，传统方案会引…

Apache Flink 作为 Google Dataflow Model 的工业级实现，经过多年的发展，如今已经成为流式计算开源领域的事实标准。