基于云原生的大数据

本文将在此前搭建的数据湖系统上使用Flink分布式引擎来实时读取Kafka中的数据并入湖，我们会使用trino命令行sql来查看入湖的数据。flink任务使用搭建的flinkOperator进行提交。

本篇我们在一台ECS服务器上安装Flink SQL Client, 然后尝试在数据湖中建表以及添加数据。

Flink-operator极大的方便了我们管理 Flink 集群及其作业，我们只需要自定义yaml文件就可以做到。本文将介绍 flink-operator的安装方式以及遇到的问题解决。

只有业余时间学习数据湖，虽然我通过停用按量计费的ECS减少开支，但即使这样大概一个小时还要花费3毛2，一周不碰就要白白花费50块钱。有什么办法可以省下这个钱呢？本文就要过日子。

本文旨在搭建一套iceberg数据湖的系统，为学习iceberg的功能做准备。使用集成了iceberg的trino相对更简单易懂，且github上已经有现成的项目可以借鉴，我们只需要做些适配就行。