摘要:介绍离线开发平台(DolphinScheduler),完成InfluxDB数据同步至Doris演示流程。实现 InfluxDB 数据的高效抽取、格式转换与 Doris 的稳定写入,验证AllData数据中台对多源异构数据库的适配能力、离线数据同步的可靠性及高效性。
AIIData数据中台-离线开发平台集成开源项目DolphinScheduler提供可视化离线任务编排、多源异构数据集成、灵活的定时与依赖调度、全链路监控运维等核心能力,兼容主流计算引擎与各类数据源,可高效完成离线数据抽取、加工、同步、计算全流程作业。
- InfluxDB 版本 1.12.2
一、环境准备
1.启动Seatunnel并进行配置
2、添加以下信息
3、使配置生效
4、进入SEATUNNWEL-HOME 目录
5、下载连接器,执行以下命令
6、下载完成,查看连接器
7、获取 mysql jdbc 连接驱动,并上传到${SEATUNNEL_HOME}/plugins目录下 下载链接: (如需要网盘链接,联系市场总监获取)
二、进入数据源管理平台
1、Influxdb 创建数据库表mydb.cpu, 数据为3条
2、创建Doris库表(无需操作,自动建表)
三、进入离线开发平台
1、配置环境
✅ 打开安全中心
✅ 在左侧菜单选择环境管理
✅ 创建环境
・配置 JDK ・配置 SeatunnelServer ・确定
2、创建任务
✅ 打开项目管理
✅ 创建项目
3、点击项目名称
✅ 打开工作流定义
✅ 创建工作流(找到数据集成 SEATUNNEL,拖拽到画板)
・填写必填项
・页面下滑,找到脚本设置
・加入以下脚本内容
✅ 点击确定保存
✅ 保存工作流
✅ 上线工作流
✅ 暂不配置定时任务,手动触发执行
✅ 运行工作流
✅ 打开工作流实例
✅ 查看工作流运行状态
✅ 打开任务实例
✅ 可以看到任务执行完成
4、数据验证
✅ 同步数据前,查看influxdb,数据库mydb, 表cpu记录为3条。
✅ 同步数据前,查看Doris,没有数据库/表。
✅ 同步数据后,查看Doris,自动创建mydb数据库,cpu表数据为3条。
从依赖配置、数据源注册到工作流编排、数据验证,本文完整呈现 AllData数据中台离线开发平台下 InfluxDB 到 Doris 的同步实操,凸显低代码编排、稳定传输优势,为时序数据的高效分析与价值释放提供可落地的解决方案。
杭州奥零数据科技官网:www.aolingdata.com