这是我参与「第五届青训营 」伴学笔记创作活动的第 6 天
1、发展历程
-
Windows批处理
-
Windows任务计划程序
-
Linux命令 - Cronjob
-
单机定时任务 - Timer Tricker
-
单机定时任务 - ScheduledExecutorService
-
任务调度 - Quartz
-
分布式定时任务
- 定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。
-
业内定时任务框架
2.核心架构
分布式定时任务核心要解决触发、调度、执行三个关键问题。
任务元数据是用户对任务属性定义,包括任务类型调度时机、执行行为等。
触发器 -核心职责
给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度。
设计约束:
- 需支持大量任务
- 需支持秒级的调度
- 周期任务需要多次执行
- 需保证秒级扫描的高性能,并避免资源浪费。
触发器 - 方案1
定期扫描+延时消息(腾讯、字节方案)
触发器 - 方案2
时间轮(Quartz所用方案)
- 时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列,底层采用数组实现,数组中的吗,每个元素可以存放一个定时任务列表。目标:遍历任务列表,从中找出当前时间点需触发的任务列表。
触发器 -高可用
- 核心问题:
不同业务之间,任务的调度相互影响怎么办? 负责扫描和触发的机器挂了怎么办?
- 解法思路:
存储中,不同国别、业务做资源隔离。
运行中,不同国别、业务分开执行。
部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只被触发一次。
高级特性
- 高级特性 - 任务编排
使用有向无环图进行可视化任务编排。
- 高级特性 - 故障转移
确保部分执行单元任务失败时,任务最终成功
调度器 -高可用
调度器可以集群部署,做到完全的无状态,靠消息队列的重试机制保证任务一定会被调度。
执行器
基于注册中心,可以做到执行器的弹性扩缩容