Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。
新版本不仅引入了 任务分发超时检测机制 和 任务最大运行时间控制能力,还修复了多项调度逻辑、插件功能以及 API 行为中的问题,同时对系统文档、开发流程和工程结构进行了优化。
- 更多详情请查看 Release Note:github.com/apache/dolp…
- 源码下载:dolphinscheduler.apache.org/zh-cn/downl…
核心亮点
新增任务分发超时检测机制
在 Master 调度模块中,系统新增了 任务分发超时检查逻辑。当任务被调度到 Worker 执行时,如果出现 Worker Group 不存在或没有可用 Worker 节点的情况,调度器能够在一定时间内检测到分发异常并进行处理,从而避免任务长期处于等待状态,提升系统在资源异常场景下的容错能力(#17795,#17796)。
支持配置工作流与任务实例最大运行时间
新版本支持为 工作流实例(Workflow Instance)和任务实例(Task Instance)配置最大运行时间。用户可以为任务或工作流设置最大执行时长,当任务运行时间超过设定阈值时系统能够触发超时处理,从而避免任务卡死或异常占用资源,提高系统整体运行可控性(#17931,#17932)。
关键修复和优化
调度系统稳定性修复
- 修复任务超时告警未触发的问题(#17820,#17818)
- 修复工作流失败策略无法生效的问题(#17834,#17851)
- 当任务执行上下文初始化失败时自动将任务标记为失败(#17758,#17821)
- 修复补数任务并行执行模式下并行度计算错误的问题(#17831,#17853)
数据库与兼容性问题修复
- 修复 PostgreSQL 环境下依赖任务执行 SQL 错误(#17690,#17837)
- 修复数据库表字段 INT/BIGINT 类型不匹配问题(#17979,#17988)
API 与权限相关修复
- 查询工作流实例时移除
WAIT_TO_RUN状态并新增 FAILOVER 状态(#17838,#17839) - 为 Workflow API 新增租户校验机制(#17969,#17970)
- 修复非管理员用户无法删除自己 Access Token 的问题(#17995,#17997)
插件与任务执行问题修复
- 修复 Java Task 中 JVM 参数位置错误的问题(#17848,#17850)
- 修复 Procedure Task 参数传递不可用的问题(#17967,#17968)
- 修复 ProcedureTask 无法返回参数及无法执行查询存储过程的问题(#17971,#17973)
- 修复 HTTP 插件无法发送 JSON 嵌套结构的问题(#17912,#17911)
- 修复 HTTP 告警插件中超时单位不一致的问题(#17915,#17920)
UI 与文档问题修复
- 从 UI 中移除任务实例 STOP 状态(#17864,#17865)
- 修复工作流定义列表加载失败时锁未释放的问题(#17984,#17989)
- 修复 Keycloak 登录图标 404 问题(#18006,#18007)
- 修复安装文档中的描述错误(#17901,#17903)
- 修复 SeaTunnel 文档链接 404 问题(#17904,#17905)
深度功能解析
在现代数据平台架构中,调度系统通常作为连接不同计算引擎的重要基础设施,例如 Spark、Flink、Hive 等任务往往通过统一的调度系统进行编排。
然而在生产环境中,调度系统经常面临以下问题:
- Worker 资源异常导致任务无法调度
- 任务运行时间不可控
- 插件执行行为不稳定
本次版本新增的 任务分发超时检测机制,使调度器能够在 Worker 不存在或资源不可用时快速识别异常,从而避免任务无限等待的问题(#17795,#17796)。
同时,新增的 最大运行时间控制能力 为任务执行提供了一种更加灵活的管理方式。通过为 Workflow 或 Task 设置最大运行时间,系统可以在任务异常卡死时及时进行处理,从而避免资源长时间被占用(#17931,#17932)。
这两项能力进一步提升了 DolphinScheduler 在 生产级数据平台环境中的稳定性和可控性。
致谢贡献者
Apache DolphinScheduler 3.4.1 的发布离不开社区开发者的共同努力。感谢发版经理 @ruanwenjun 以及以下贡献者为本次版本提供代码和改进:
- SbloodyS
- njnu-seafish
- Mrhs121
- ylq5126
- qiong-zhou
- XpengCen
- iampratap7997-dot
- yzeng1618
- Alexander1902
- maomao199691
- asadjan4611
- dill21yu
写在最后
Apache DolphinScheduler 3.4.1 是一个以 调度稳定性提升和任务运行控制能力增强为核心的维护版本。通过新增调度容错机制、支持任务最大运行时间控制以及修复多项关键问题,该版本进一步提升了系统在生产环境中的可靠性。
随着社区持续发展,Apache DolphinScheduler 正不断完善其在数据平台调度领域的能力,为企业构建稳定、高效的数据工作流编排系统提供更加可靠的基础设施支持。欢迎更多人加入到我们的队伍中,共同推进 Apache DolphinScheduler 项目及社区的发展繁荣!