AllData通过开源项目DolphinScheduler完成物联网数据同步任务：TDengine同步到Doris 全流程

杭州奥零数据科技
0 阅读1分钟

📢查看视频演示：bilibili.com/video/BV1nWPGzFE5o/ 【AIIData数据中台】集成开源项目DolphinScheduler构建离线开发平台，本文展示基于 DolphinScheduler 调度的离线数据同步能力，实现 TDengine 到 Doris 高效、稳定、可视化的数据流转，开箱即用。

✅ 可视化配置，零代码完成 TDengine → Doris 同步

✅ 内置连接器，无需手写复杂 SQL 与 Shell

✅ 依托 DolphinScheduler 强大调度，支持依赖、重试、告警

✅ 全流程可追踪、可监控、可运维，生产级稳定

从数据源配置、任务编排、调度执行，到最终 Doris 数据入库校验，一条链路闭环。既解决时序数据同步效率问题，又降低平台使用门槛。

AllData数据中台BI可视化平台演示 (1).png

公众号-数据质量作业 拷贝.jpg

  • TDengine-Enterprise trial 3.4.0.7
  • Doris 版本：doris-2.0.7
  • SeaTunnel 版本：2.3.12

公众号-数据质量作业 拷贝 2.jpg carbon-2.png

公众号-数据质量作业 拷贝 3.jpg 1、查看TDengine 数据库表信息 1.png

2、创建Doris库表（无需操作，自动建表） 2.png

公众号-数据质量作业 拷贝 4.jpg 3.png

公众号-数据质量作业 拷贝 5.jpg 1、打开安全中心 4.png

2、在左侧菜单选择环境管理 5.png

3、创建环境 6.png

  • 配置 JDK

  • 配置 SeatunnelServer

  • 确定保存

公众号-数据质量作业 拷贝 6.jpg 1、打开项目管理 7.png

2、创建项目 8.png

3、点击项目名称 9.png

4、打开工作流定义 10.png

5、创建工作流（找到数据集成 SEATUNNEL，拖拽到画板） 11.png

12.png

13.png

  • 填写必填项

  • 页面下滑，找到脚本设置

  • 加入以下脚本内容

carbon-3.png

  • 点击确定保存

6、保存工作流 14.png

15.png

7、上线工作流 16.png

17.png

8、暂不配置定时任务，手动触发执行 18.png

9、运行工作流 19.png

20.png

11、打开任务实例（可以看到任务执行完成） 21.png

公众号-数据质量作业 拷贝 7.jpg 1、同步数据前，查看Doris，没有数据库、表 22.png

2、同步数据后，查看Doris，自动创建mydb数据库，tdengine_result表 23.png

用一套可视化离线开发平台，把 TDengine 同步 Doris 这件事，做得简单、稳定、可规模化。

杭州奥零数据科技官网：www.aolingdata.com

avatar
文章
阅读
粉丝