这是我参与「第五届青训营」笔记创作活动的第八天
分布式定时任务
分布式定时任务概述
分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度，和分布式部署的一种定时任务的管理方式。
任务分类：
- 定时任务：特定时间触发，比如今天5点执行一次
- 延时任务：延时触发，比如10s后执行一次
- 周期任务：固定周期时间，比如每天0点执行一次
分布式定时任务特点：
自动化、平台化、分布式、伸缩性、高可用
执行方式：
- 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
- 广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志
- Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务
- MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务
实现原理
分布式定时任务核心要解决触发、调度、执行三个关键问题
- 触发：Trigger，解析任务，根据任务触发时间，生成触发事件
- 调度器：Scheduler，分配任务，管理任务生命周期
- 执行器：Executor，获取执行单元，执行任务逻辑
除此之外，还需要提供一个控制台（Admin），提供任务管理和干预的能力
控制台
控制台需要提供任务管理和干预的能力
- 任务：Job，任务元数据
- 任务实例：JobInstance，周期任务会生成多个任务实例
- 任务结果：JobResult，任务实例运行的结果
- 任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储
用户 -> Job -> JobInstance -> JobResult
Job：任务元数据是用户对任务属性定义，包括任务类型调度时机，执行行为等
JobInstance：是一个确定的Job的一次运行实例
触发器
核心职责： 给定一系列任务，解析它们的触发规则，在规定的时间点触发任务调度
约束：需支持大量业务、支持秒级的调度、周期任务需多次执行、需保证秒级扫描的高性能，并避免资源浪费
触发器的实现由两种方式
- 定期扫描+延时消息（腾讯、字节方案）
- 时间轮（Quartz所用方案）
定期扫描+延时消息
scanner扫描器每秒钟扫描一次DB，将任务发送到延时队列中，并改变当前任务的状态表示已发送。
时间轮
时间轮是一个存储环形队列，底层采用数组实现，数组中的每个元素存放一个定时任务列表
采用多级时间轮可以满足更多任务的需求
触发器高可用
问题？
- 不同任务之间，任务的调度相互影响怎么办？
- 负责扫描和触发的机器挂了怎么办？
解法思路：
- 不同业务做资源隔离、分开执行
- 采用多机房集群化部署，避免单点故障，通过数据库锁和分布式锁保证任务只能被触发一次
集群化部署任务触发
- 当其中一个节点（触发器）抢锁成功后，进行触发；其他的节点抢锁失败就放弃触发
调度器
分配不同节点任务，调度器就是将一个任务调度到节点执行，并管理任务生命周期
资源来源
-
业务系统提供机器资源
在业务系统上执行定时任务，任务实例和业务服务使用同一份内存资源，利用率更高。但是可能会导致本身节点压力较大，影响业务服务的性能
-
定时任务平台提供机器资源
能够避免业务服务和定时任务性能的相互影响；但是定时任务需要额外向业务申请接口调用权限
资源调度-节点选择
一个Scheduler会将任务分配不同的Executor节点执行
- 随机节点执行：选择集群中一个可用的执行节点执行调度任务。适用场景：定时对账。
- 广播执行：在集群中所有的执行节点分发调度任务并执行。适用场景：批量运维。
- 分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用效率。适用场景：海量日志统计。
高效特性
任务编排
一些任务分片执行需要由一定顺序，使用有向无环图DAG(Directed Acyclic Graph)进行可视化任务编排
故障转移
任务在一个Executor执行失败会重新选择一个Executor执行，确保部分执行单元任务失败时，任务最终成功
调度器高可用
调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度
执行器
基于注册中心，可以做到执行期的弹性扩容缩容
