重磅新功能发布!AllData数据中台通过开源项目AirFlow建设离线开发IDE,打造大数据离线调度引擎

0 阅读6分钟

引导图.png

企业痛点: 直击数据开发痛点,重构离线任务开发全流程

● 本地开发环境与生产环境不一致,代码写完部署就报错;

● 调试依赖繁琐配置,单次调试要等几十分钟;

● 工作流编写无实时提示,语法错误难排查;版本管理混乱,误操作无法回滚;

● 多团队协作低效,代码交接全靠口头说明。

解决方案: 从环境适配、代码编写、调试优化到协作管理,全方位破解行业痛点

● 降本增效:简化环境配置、提升编码与调试效率,减少无效内耗,帮助企业降低人力成本,让数据任务快速落地,支撑业务决策;

● 软件灵活:Airflow工作流的配置比较容易上手掌握,Python代码写工作流比较灵活

● 团队适配:Airflow适合中小型数据团队,适合离线批处理为主,ETL,数据同步,工作流调度,告警通知等场景。

什么是 AirFlow ?

AllData数据中台集成AirFlow构建的离线开发IDE,是 AllData 数据中台集成的可视化任务调度开发环境,支持工作流编排、任务调度、运维监控与系统配置,实现离线数据任务全生命周期统一管理。

💎 AirFlow 开源项目:github.com/apache/airf…

💎 AirFlow 官方文档:airflow.apache.org/docs/apache…

● 可视化任务编排,降低开发门槛

● 丰富的任务类型支持,满足多样化需求

● 智能调度与监控,保障任务稳定运行

● 代码扫描与安全防护,确保数据安全合规

image.png

功能菜单一:离线开发IDE-任务概览

任务概览集中展示离线任务全量状态,支持按 DAG、运行状态、时间筛选,实时查看成功 / 失败 / 运行中等进度,快速定位异常任务,支持一键重跑、暂停与日志查询,实现任务全局可视化管控。

(1)AllData数据中台-离线开发IDE-任务概览

集中展示离线任务运行状态,支持快速筛选与异常排查,直观掌握 AirFlow 任务整体执行情况。

3b32e13bcac4e34a4a724b83a7031e25.png

4255dab1d8f2033bfc75db52dd2749f0.png

(2)离线开发IDE-任务概览-点击查看资源池

通过任务概览可跳转查看对应资源池信息,直观关联任务与资源占用,便于调度分析与运维排查。

0c3662590f568c0bc2c48c702c189b9d.png

2.1 管理服务器调度资源池

e70a6909ffa3e7e34a9bb430d143fb1d.png

2.2 编辑资源池

5943241c47b24793f352972aea83fd29.png

2.3 新增资源池

e5c2bfb3f0c0ea3cadfdbd05320ca781.png

功能菜单二:离线开发IDE-工作流管理

工作流管理支持基于 AirFlow 可视化编排离线任务 DAG,配置依赖关系与调度周期,支持启停、编辑、版本管理与定时执行,实时监控流转状态,保障数据加工流程稳定、可追溯、可运维。

(1)离线开发IDE-工作流管理

支持可视化编排 AirFlow 工作流,配置任务依赖与调度策略,实现离线任务全生命周期管理与监控。

80fc99ef2abf76658bf24d520e868cd8.png

1.1 工作流管理-执行工作流任务

832fb7d02636a84835f79b24a49b147c.png

(2)工作流管理-任务实例

展示工作流下各任务实例运行状态,支持启停、重跑与日志查看,实时监控 AirFlow 任务执行全过程。

e9aa916b79473c582e9ed82613168a04.png

(3)工作流管理-支持执行、重跑、补数、监控任务数据

展示离线工作流整体执行状态与耗时,支持触发执行、回溯重跑,实时监控 AirFlow 工作流运行与异常处理。

2b9e4b1459731630c7d80e83708f2503.png

3.1 清除工作流,重新初始化

eee4ea454a0106c387dd2c67075bd085.png

功能菜单三:离线开发IDE-资源管理

资源管理统一管控离线任务运行所需计算、存储等资源,支持资源配额配置与动态调度,结合 AirFlow 实现任务资源隔离与高效复用,保障任务稳定运行。

(1)离线开发IDE-资源管理

ed3c75cddbe11138bf45ad619482d874.png

1.1 创建资源事件

d1a031ccc9181b0edcbf47b58ef48395.png

1.2 资源管理-点击任务

3e308af4ec1778618c8266aa2e73e65a.png

1.3 工作流管理-执行任务

fef0d1e7b6eb8204a768f2b66a8ff89b.png

62e913960102f33181eca246d26d0f73.png

1.4 点击执行工作流任务

7bafd64dbbd877231e4c52ff8ccd6966.png

功能菜单四:离线开发IDE-运维管理

提供任务监控、异常告警、日志查询与重试机制,结合 AirFlow 实现工作流全生命周期运维,支持状态追溯与问题快速定位,保障离线任务稳定运行。

(1)运维管理-审计日志

完整记录用户操作、任务调度与变更记录,支持快速检索追溯,实现离线开发全流程可审计、可回溯。

98b8f396a4149146bd75ce405789aa62.png

功能菜单五:离线开发IDE-系统设置

支持用户权限、参数配置、环境管理等功能,结合 AirFlow 实现统一权限管控与系统参数维护,保障离线开发 IDE 安全稳定运行。

(1)系统设置-变量

支持统一配置全局变量,供 AirFlow 任务动态调用,实现参数集中管理,简化离线任务配置与维护。

18、离线开发IDE-系统设置-变量.png

1.1 导入变量

3f9c7e8eaec0170ebf837f56c6f8834f.png

1.2 导出变量

3ebb4391eff66dd887b4e95373c382d8.png

1.3 新增变量

98d2415ecde36691a63a57bd9e0b15b3.png

(2)系统设置-资源池

统一管理离线任务计算资源池,支持配额分配与调度策略,结合 AirFlow 实现任务资源隔离与高效调度。

2bf8a959e40171df6e8134a8a9ee9e04.png

2.1 编辑资源池

51a3b186fd64de6a4c3f98c2b594b0fc.png

2.2 新增资源池

e56d0451fb4416935e527754cfe58d0f.png

(3)系统设置-Providers

支持管理 AirFlow 各类组件扩展插件,统一维护数据源与任务类型,提升离线开发 IDE 适配与扩展能力。

8da1f9aad606aa0569620eaba84a9951.png

(4)系统设置-插件

统一管理 AirFlow 插件,支持扩展任务类型与交互能力,灵活适配离线开发场景,提升 IDE 扩展性。

b6bd28d1a2bce25ae641d8fc20614a3c.png

(5)系统设置-链接

统一管理各类数据源与外部系统连接信息,支持加密配置,供 AirFlow 任务安全调用,简化离线开发链路配置。

b0b88e0cd0e51dbfb76f703230d225f1.png

5.1 添加链接

cc9ace2f1cd71ea4faacc0696c04f243.png

5.2 编辑链接

b3c14be05ff61bfd7e0b3e28f060bdce.png

(6)系统设置-配置 统一管理 AirFlow 全局运行参数,支持可视化配置与生效管控,保障离线开发调度环境稳定高效。

3a74e32b7d45fc847a8ebaebee00ea6e.png

671f1cbde769f7473d8fe9bbf05c4ba2.png

AllData 大数据产品 × AirFlow 开源项目

离线任务开发的效率与质量,直接决定企业数据价值的释放速度。AirFlow 此次推出离线开发IDE新功能,既是对开发者需求的精准洞察,也是对数据开发行业趋势的精准把握——随着AI技术与开发工具的深度融合,“智能、高效、便捷”已成为离线开发的核心需求。

对于企业而言,引入AirFlow离线开发IDE新功能,不仅能提升数据开发效率,降低运维成本,更能规范开发流程,减少任务报错与延迟,让海量数据快速转化为业务价值,为企业数字化转型提供核心支撑。

671f1cbde769f7473d8fe9bbf05c4ba2.png

杭州奥零数据科技官网:www.aolingdata.com

⏰ 4月30日 下午14:00

AllData数据中台新版本发布 & 涵盖13+新功能,抢先看!

立即预约,开播第一时间通知你

👇点击下方【预约按钮】

视频号“杭州奥零数据科技”

38e0f26692828b152510bcbc35ce21ee.jpg