AllData数据中台核心菜单十三:数据湖平台

81 阅读2分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨奥零数据科技官网:www.aolingdata.com

✨AllData开源项目:github.com/alldatacent…

✨AllData官方文档:alldata-document.readthedocs.io

✨AllData社区文档:docs.qq.com/doc/DVHlkSE…

动图LOGO.gif

公众号核心功能十三:数据湖平台.jpg

「 AllData数据中台 - 主页 」

主页.png

「 数据湖平台 - 功能描述 」

1、AllData数据同步平台基于开源项目Paimon建设。

2、Paimon是一种数据湖格式,支持使用 Flink 和 Spark 构建实时 Lakehouse 架构,用于流式和批处理操作。创新地结合了 Lake 格式和 LSM 结构,将实时流式更新引入数据湖架构。

3、Paimon数据湖通过一套完善的入湖工具,实现了实时数据同步至数据湖的功能,支持MySQL等多元数据库系统的数据变化快速捕捉与存储。它融合了Flink的流处理能力和Spark等计算引擎的批处理能力,实现了数据湖上的批流一体处理,降低了数据处理的复杂性和成本。

4、Paimon数据湖注重生态集成,与Hive、Trino、Presto等大数据典型计算引擎深度整合,提供了统一的数据存储和访问接口。其底层采用先进的存储架构和技术,如LSM树等,确保了高效的数据写入和查询性能。

5、Paimon数据湖是一个功能强大、易于使用且成本效益高的存储解决方案,适用于各种大数据场景,为数据分析和实时计算提供了坚实的基础。

「 数据湖平台 - 模块功能汇总 」

目录.png

「 数据湖平台 - 功能点展示 」

「 数据湖任务 」 1_数据湖任务.jpg

「 数据湖查询 」查询 2_数据湖查询_查询.jpg

「 数据湖查询 」工作台 3_数据湖查询_工作台.jpg

「 基础元数据 」创建Catalog 4_基础元数据_创建Catalog .jpg

「 基础元数据 」创建Database 5_基础元数据_创建Database.jpg

「 基础元数据 」数据表-Table信息 6_基础元数据_数据表_Table信息.jpg

「 基础元数据 」数据表-Option信息 7_基础元数据_数据表_Option信息.jpg

「 基础元数据 」数据表-Schema信息 8_基础元数据_数据表_Schema信息.jpg

「 基础元数据 」数据表-Snapshot信息 9_基础元数据_数据表_Snapshot信息.jpg

「 基础元数据 」数据表-Manifest信息 10_基础元数据_数据表_Manifest信息.jpg

「 基础元数据 」数据表-数据文件 11_基础元数据_数据表_数据文件.jpg

「 基础元数据 」创建Table 12_基础元数据_创建Table .jpg

「 CDC集成 」 13_CDC集成.jpg

「 CDC集成 」创建同步作业 14_CDC集成_创建同步作业.jpg

「 CDC集成 」创建同步作业-编辑(MySQL-Paimon) 15_CDC集成_创建同步作业_编辑(MySQL-Paimon).jpg

「 CDC集成 」创建同步作业-编辑(Kafka-Paimon) 16_CDC集成_创建同步作业_编辑(Kafka-Paimon).jpg

「 CDC集成 」创建同步作业-编辑(MongoDB-Paimon) 17_CDC集成_创建同步作业_编辑(MongoDB-Paimon).jpg

「 CDC集成 」创建同步作业-编辑(PostgreSQL-Paimon) 18_CDC集成_创建同步作业_编辑(PostgreSQL-Paimon).jpg

「 CDC集成 」创建同步作业-运行 19_CDC集成_创建同步作业_运行.jpg

「 数据湖集群 」 20_数据湖集群.jpg

「 数据湖集群 」新增集群 21_数据湖集群_新增集群.jpg

「 数据湖集群 」更新集群 22_数据湖集群_更新集群.jpg

「 数据湖集群 」集群连通性检测 23_数据湖集群_集群连通性检测.jpg

二维码.jpg