AllData数据中台-离线开发平台(集成DolphinScheduler)-InfluxDB 数据同步到Doris能力演示

19 阅读2分钟

摘要:介绍离线开发平台(DolphinScheduler),完成InfluxDB数据同步至Doris演示流程。实现 InfluxDB 数据的高效抽取、格式转换与 Doris 的稳定写入,验证AllData数据中台对多源异构数据库的适配能力、离线数据同步的可靠性及高效性。

AIIData数据中台-离线开发平台集成开源项目DolphinScheduler提供可视化离线任务编排、多源异构数据集成、灵活的定时与依赖调度、全链路监控运维等核心能力,兼容主流计算引擎与各类数据源,可高效完成离线数据抽取、加工、同步、计算全流程作业。

- InfluxDB 版本 1.12.2

一、环境准备

1.启动Seatunnel并进行配置 carbon-1.png

2、添加以下信息 carbon-2.png

3、使配置生效 carbon-3.png

4、进入SEATUNNWEL-HOME 目录 carbon-4.png

5、下载连接器,执行以下命令 carbon-5.png

6、下载完成,查看连接器 carbon-6.png

1.下载完成,查看连接器.png

7、获取 mysql jdbc 连接驱动,并上传到${SEATUNNEL_HOME}/plugins目录下 下载链接: (如需要网盘链接,联系市场总监获取)

2.下载完成,查看连接器.png

二、进入数据源管理平台

1、Influxdb 创建数据库表mydb.cpu, 数据为3条 3.Influxdb创建数据库表.png

2、创建Doris库表(无需操作,自动建表) 4.创建Doris库表.png

三、进入离线开发平台

进入离线开发平台.png

5.进入离线开发平台.png

1、配置环境 ✅ 打开安全中心 6.打开安全中心.png

✅ 在左侧菜单选择环境管理 7.在左侧菜单选择环境管理.png

✅ 创建环境

8.创建环境.png

・配置 JDK ・配置 SeatunnelServer ・确定

2、创建任务 ✅ 打开项目管理 9.打开项目管理.png

✅ 创建项目 10.创建项目.png

3、点击项目名称 11.点击项目名称.png

✅ 打开工作流定义

12.打开工作流定义.png

✅ 创建工作流(找到数据集成 SEATUNNEL,拖拽到画板) 13.1创建工作流.png

13.2创建工作流.png

・填写必填项

・页面下滑,找到脚本设置

・加入以下脚本内容

9b0afbc6ccd6ce55ec446f4834f5f2bf.png

✅ 点击确定保存

✅ 保存工作流

14.1 保存工作流.png

14.2 保存工作流.png

✅ 上线工作流

15.1 上线工作流.png

✅ 暂不配置定时任务,手动触发执行 16.暂不配置定时任务,手动触发执行.png

✅ 运行工作流 17.1 运行工作流.png

17.2 运行工作流.png

✅ 打开工作流实例

18.打开工作流实例.png

✅ 查看工作流运行状态

✅ 打开任务实例 19.打开任务实例.png

✅ 可以看到任务执行完成

4、数据验证 ✅ 同步数据前,查看influxdb,数据库mydb, 表cpu记录为3条。 20.同步数据前,查看influxdb,数据库mydb, 表cpu记录为3条.png

✅ 同步数据前,查看Doris,没有数据库/表。 21.同步数据前,查看Doris,没有数据库:表.png

✅ 同步数据后,查看Doris,自动创建mydb数据库,cpu表数据为3条。 22.同步数据后,查看Doris,自动创建mydb数据库,cpu表数据为3条.png

从依赖配置、数据源注册到工作流编排、数据验证,本文完整呈现 AllData数据中台离线开发平台下 InfluxDB 到 Doris 的同步实操,凸显低代码编排、稳定传输优势,为时序数据的高效分析与价值释放提供可落地的解决方案。

杭州奥零数据科技官网:www.aolingdata.com