AllData数据中台核心菜单十二:数据同步平台

34 阅读2分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨奥零数据科技官网:www.aolingdata.com

✨AllData开源项目:github.com/alldatacent…

✨AllData官方文档:alldata-document.readthedocs.io

✨AllData社区文档:docs.qq.com/doc/DVHlkSE…

动图LOGO.gif

微信图片_20250205103032.png

「 AllData数据中台 - 主页 」

微信图片_20241022152206.png

「 数据同步平台 - 功能描述 」

1、AllData数据同步平台基于开源项目Seatunnel建设。

2、SeaTunnel是下一代高性能、分布式、海量数据集成框架,是一个非常易用、超高性能的分布式数据集成平台。

3、SeaTunnel支持上百个数据源、传输速度快、准确率高,丰富易扩展的连接器和插件化的连接器设计,能够更轻松的运行复杂的集成。

4、SeaTunnel完美兼容离线同步、实时同步、全量/增量同步等场景。支持可视化开发和代码开发。使用超高性能分布式数据同步、将会实时同步海量数据摄取或获取变更数据。

5、SeaTunnel默认使用zeta引擎,同时也支持多个版本的spark和flink,支持实时海量数据同步,每天可稳定高效同步数百亿数据。

「 数据同步平台 - 模块功能汇总 」

0_数据同步成平台_目录表单.jpg

「 数据同步平台 - 功能点展示 」

「 任务 」同步任务定义 1_任务_同步任务定义.jpg

「 任务 」同步任务定义-任务详情 2_任务_同步任务定义_任务详情.jpg

Seatunnel数据同步平台,进入同步任务定义页面,进行数据源参数配置。 3_任务_同步任务定义_编辑1.jpg

Seatunnel数据同步平台,进入同步任务定义页面,进行同步处理参数配置。 2_任务_同步任务定义_任务详情.jpg

Seatunnel数据同步平台,进入同步任务定义页面,进行数据目的地参数配置。 5_任务_同步任务定义_编辑3.jpg

「 任务 」同步任务定义-创建同步任务 6_任务_同步任务定义_创建同步任务.jpg

「 任务 」同步任务实例-离线同步 7_任务_同步任务实例_离线同步.jpg

「 任务 」同步任务实例-实时同步 8_任务_同步任务实例_实时同步.jpg

「 数据源 」 9_数据源.jpg

「 数据源 」创建数据源 10_数据源_传统数据库.jpg

「 数据源 」文件 11_数据源_文件.jpg

「 数据源 」非结构化 12_数据源_非结构化.jpg

「 数据源 」存储 13_数据源_存储.jpg

「 数据源 」远程链接 14_数据源_远程链接.jpg

「 数据源 」假链接 15_数据源_假链接.jpg

「 虚拟表 」 16_虚拟表.jpg

「 虚拟表 」创建虚拟表 17_虚拟表_创建虚拟表.jpg

「 用户管理 」 18_用户管理.jpg

「 用户管理 」创建用户 19_用户管理_创建用户.jpg

微信图片_20250120101104.jpg