数据集成平台-Kafka实时同步Doris能力演示

90 阅读2分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:www.aolingdata.com

✨Github项目:github.com/alldatacent…

✨Gitee项目:gitee.com/alldatacent…

✨AllData官方手册:www.yuque.com/aolingdata/…

✨AllData正式环境:http://43.138.156.44:5173/ui_moat

数据集成功能简介.jpg

数据集成平台.jpg

一、数据集成平台基于开源项目Tis建设

数据集成平台(Tis)集成了FlinkX-CDC、DataX等大数据组件,提供一站式数据集成服务。支持多种数据源,涵盖MySQL、Oracle、ElasticSearch等,兼容国产数据库,满足多源异构数据集成需求。

数据集成平台提供可视化操作界面,简化数据集成流程,降低操作难度。同时,具备实时与批量集成能力,确保数据及时准确。此外,还支持插件化扩展,用户可按需开发新插件,增强平台灵活性。助力企业高效完成数据集成任务,为数据中台建设提供有力支撑。

🔹Tis开源项目:github.com/datavane/ti…

🔹Tis文档地址:tis.pub/docs/

二、数据集成平台功能特点

  • Hive数据库数据同步能力演示(全量同步+分区同步)
  • MySQL数据库数据同步能力演示(全量+增量同步)
  • Oracle数据库数据同步能力演示(全量+增量同步)
  • 国产数据库达梦数据源DaMeng数据同步能力演示(全量同步)
  • 国产数据库人大金仓数据源KingBase数据同步能力演示(全量+增量同步)
  • Kafka实时同步能力演示(增量实时同步)

数据同步能力.jpg

一、支持数据库

1、支持数据库.png

二、进入主页

2、进入主页.png

三、创建kafka通道

3、创建kafka通道.png

四、可视化配置kafka到doris

4、可视化配置kafka到doris .png

五、配置Kafka Reader

5、配置kafka reader.png

六、通过Kafka Reader到入表

6、通过Kafka Reader到入表.png

七、批量配置Kafka表

7、批量配置Kafka表.png

八、配置Doris Writer表

8、配置Doris Writer表1.png

8、配置Doris Writer表2.png

九、成功创建Kafka到Doris同步实例

9、成功创建Kafka到Doris同步实例.png

十、进入实时同步通道

10、进入实时同步通道1.png

10、进入实时同步通道2.png

十一、配置Flink实时同步

11、配置Flink实时同步.png

十二、实时同步配置Source/Sink

12、实时同步配置Source:Sink .png

十三、自动生成同步实时同步代码

13、自动生成同步实时同步代码.png

十四、部署实时任务成功

14、部署实时任务成功.png

十五、检查实时任务正常运行 

15、检查实时任务正常运行.png

十六、检查Flink Runtime页面

16、检查Flink Runtime页面.png

十七、查看结果表数据,成功写入Doris数据

17、查看结果表数据,成功写入Doris数据.png