分布式定时任务 ｜ 青训营笔记
这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天
- 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
- 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
发展历程
单机定时任务
单机定时任务是最常见的，也是比较传统的任务执行方式，比如linux内置的Crontab。
其通过cron表达式中分、时、日、月、周五种时间维度，实现单机定时任务的执行。
- Linux -
CronJob - Go -
time.NewTicker,time.NewTimer
中心化调度
典型的中心化调度框架quartz，其作为任务调度界的前辈和带头大哥，通过优秀的调度能力、丰富的API接口、Spring集成性好等优点，使其一度成为任务调度的代名词。
去中心化调度
为了解决中心化调度存在的各种问题，elasticjob 在继承quartz的基础上，同时使用了zookeeper作为注册中心。在产品设计层面上，个人理解elasticjob相比其他分布式任务调度框架，更加侧重数据处理和计算，主要体现在如下两方面
实现原理
分布式任务调度系统主要包含以下几个部分：
-
Admin 控制台
控制任务示例
-
Trigger 触发器
只需根据任务执行规则，计算解析出不同时间点的任务触发事件
-
Scheduler 调度器
专注于任务调度的逻辑控制
-
Executor 执行器
执行任务具体逻辑
执行模式
- 随机节点执行：选择集群中一个可用的执行节点执行调度任务。适用场景：定时对账。
- 广播执行：在集群中所有的执行节点分发调度任务并执行。适用场景：批量运维。
- 分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用效率。适用场景：海量日志统计。
