分布式定时任务|青训营笔记

这是我参与「第三届青训营 -后端场」笔记创作活动的第3篇笔记

分布式定时任务

什么是分布式定时任务

1. 自动化+定时执行+海量数据+高效稳定 = 分布式定时任务。

2. 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。

3. 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

分布式定时任务的特点

1. 自动化：全自动完成定时任务的调度和执行
2. 平台化：基于平台化的思维管控一系列的分布式定时任务
3. 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
4. 伸缩性：采用集群方式部署、可以随时按需扩缩容
5. 高可用：单点故障不影响最终任务结果、可以做到故障转移

分布式定时任务-执行方式

1. 单机任务
2. 广播任务
3. Map任务
4. MapReduce任务

业内定时任务框架

1. Xxl-job
2. SchedulerX
3. TCT
4. Elastic-job
5. Saturn

核心架构——解决触发、调度、执行三个关键问题

Admin 控制台：提供任务管理和干预的功能

1. 任务元数据：用户对任务属性定义，包括任务类型调度时机，执行行为等。
2. 任务实例：一个确定的job的一次运行实例。

Trigger 触发器：解析任务，生成触发事件

1. 实现方案

   1. 定期扫描+延时消息

   2. 时间轮

      环形存储队列，底层用数组实现，数组中的每个元素可以存放一个定时任务列表。

      链表、最小堆、时间轮、多级时间轮

2. 高可用性——分布式锁模式

Scheduler 调度器：分配任务，管理任务生命周期

1. 资源调度

   1. 节点调度

      1. 随机节点执行

      2. 广播执行

      3. 分片执行

   2. 任务分片

   3. 任务编排

   4. 故障转移

Executor 执行器：获取执行任务单元、执行任务逻辑

1. 注册
2. 调度
3. 回调
4. 心跳检测