企业痛点: 直击数据开发痛点,重构离线任务开发全流程
● 本地开发环境与生产环境不一致,代码写完部署就报错;
● 调试依赖繁琐配置,单次调试要等几十分钟;
● 工作流编写无实时提示,语法错误难排查;版本管理混乱,误操作无法回滚;
● 多团队协作低效,代码交接全靠口头说明。
解决方案: 从环境适配、代码编写、调试优化到协作管理,全方位破解行业痛点
● 降本增效:简化环境配置、提升编码与调试效率,减少无效内耗,帮助企业降低人力成本,让数据任务快速落地,支撑业务决策;
● 软件灵活:Airflow工作流的配置比较容易上手掌握,Python代码写工作流比较灵活
● 团队适配:Airflow适合中小型数据团队,适合离线批处理为主,ETL,数据同步,工作流调度,告警通知等场景。
什么是 AirFlow ?
AllData数据中台集成AirFlow构建的离线开发IDE,是 AllData 数据中台集成的可视化任务调度开发环境,支持工作流编排、任务调度、运维监控与系统配置,实现离线数据任务全生命周期统一管理。
💎 AirFlow 开源项目:github.com/apache/airf…
💎 AirFlow 官方文档:airflow.apache.org/docs/apache…
● 可视化任务编排,降低开发门槛
● 丰富的任务类型支持,满足多样化需求
● 智能调度与监控,保障任务稳定运行
● 代码扫描与安全防护,确保数据安全合规
功能菜单一:离线开发IDE-任务概览
任务概览集中展示离线任务全量状态,支持按 DAG、运行状态、时间筛选,实时查看成功 / 失败 / 运行中等进度,快速定位异常任务,支持一键重跑、暂停与日志查询,实现任务全局可视化管控。
(1)AllData数据中台-离线开发IDE-任务概览
集中展示离线任务运行状态,支持快速筛选与异常排查,直观掌握 AirFlow 任务整体执行情况。
(2)离线开发IDE-任务概览-点击查看资源池
通过任务概览可跳转查看对应资源池信息,直观关联任务与资源占用,便于调度分析与运维排查。
2.1 管理服务器调度资源池
2.2 编辑资源池
2.3 新增资源池
功能菜单二:离线开发IDE-工作流管理
工作流管理支持基于 AirFlow 可视化编排离线任务 DAG,配置依赖关系与调度周期,支持启停、编辑、版本管理与定时执行,实时监控流转状态,保障数据加工流程稳定、可追溯、可运维。
(1)离线开发IDE-工作流管理
支持可视化编排 AirFlow 工作流,配置任务依赖与调度策略,实现离线任务全生命周期管理与监控。
1.1 工作流管理-执行工作流任务
(2)工作流管理-任务实例
展示工作流下各任务实例运行状态,支持启停、重跑与日志查看,实时监控 AirFlow 任务执行全过程。
(3)工作流管理-支持执行、重跑、补数、监控任务数据
展示离线工作流整体执行状态与耗时,支持触发执行、回溯重跑,实时监控 AirFlow 工作流运行与异常处理。
3.1 清除工作流,重新初始化
功能菜单三:离线开发IDE-资源管理
资源管理统一管控离线任务运行所需计算、存储等资源,支持资源配额配置与动态调度,结合 AirFlow 实现任务资源隔离与高效复用,保障任务稳定运行。
(1)离线开发IDE-资源管理
1.1 创建资源事件
1.2 资源管理-点击任务
1.3 工作流管理-执行任务
1.4 点击执行工作流任务
功能菜单四:离线开发IDE-运维管理
提供任务监控、异常告警、日志查询与重试机制,结合 AirFlow 实现工作流全生命周期运维,支持状态追溯与问题快速定位,保障离线任务稳定运行。
(1)运维管理-审计日志
完整记录用户操作、任务调度与变更记录,支持快速检索追溯,实现离线开发全流程可审计、可回溯。
功能菜单五:离线开发IDE-系统设置
支持用户权限、参数配置、环境管理等功能,结合 AirFlow 实现统一权限管控与系统参数维护,保障离线开发 IDE 安全稳定运行。
(1)系统设置-变量
支持统一配置全局变量,供 AirFlow 任务动态调用,实现参数集中管理,简化离线任务配置与维护。
1.1 导入变量
1.2 导出变量
1.3 新增变量
(2)系统设置-资源池
统一管理离线任务计算资源池,支持配额分配与调度策略,结合 AirFlow 实现任务资源隔离与高效调度。
2.1 编辑资源池
2.2 新增资源池
(3)系统设置-Providers
支持管理 AirFlow 各类组件扩展插件,统一维护数据源与任务类型,提升离线开发 IDE 适配与扩展能力。
(4)系统设置-插件
统一管理 AirFlow 插件,支持扩展任务类型与交互能力,灵活适配离线开发场景,提升 IDE 扩展性。
(5)系统设置-链接
统一管理各类数据源与外部系统连接信息,支持加密配置,供 AirFlow 任务安全调用,简化离线开发链路配置。
5.1 添加链接
5.2 编辑链接
(6)系统设置-配置 统一管理 AirFlow 全局运行参数,支持可视化配置与生效管控,保障离线开发调度环境稳定高效。
AllData 大数据产品 × AirFlow 开源项目
离线任务开发的效率与质量,直接决定企业数据价值的释放速度。AirFlow 此次推出离线开发IDE新功能,既是对开发者需求的精准洞察,也是对数据开发行业趋势的精准把握——随着AI技术与开发工具的深度融合,“智能、高效、便捷”已成为离线开发的核心需求。
对于企业而言,引入AirFlow离线开发IDE新功能,不仅能提升数据开发效率,降低运维成本,更能规范开发流程,减少任务报错与延迟,让海量数据快速转化为业务价值,为企业数字化转型提供核心支撑。
杭州奥零数据科技官网:www.aolingdata.com
⏰ 4月30日 下午14:00
AllData数据中台新版本发布 & 涵盖13+新功能,抢先看!
立即预约,开播第一时间通知你
👇点击下方【预约按钮】
视频号“杭州奥零数据科技”