这是我参与「第五届青训营」伴学笔记创作活动的第 7 天,本文主要介绍了分布定时任务的核心问题和实现原理。
概述
分布式定时任务核心要解决触发、调度、执行三个关键问题。
- 触发器:Trigger,解析任务,生成触发事件
- 调度器:Scheduler,分配任务,管理任务生命周期
- 执行器:Executor,获取执行任务单元,执行任务逻辑
除此之外,还需要提供一个控制台(admin),提供任务管理和干预的功能。
控制台
- 任务:Job,任务元数据(是用户对任务属性定义,包括任务类型调度时机、执行行为等)
- 任务实例:JobInstance,周期任务会发生多个任务实例
- 任务结果:JobResult,任务实例运行的结果
- 任务历史:JobHistory,用户可以修改任务信息,任务实例对应的任务元数据可以不同,因而使用任务历史存储
触发器
核心职责
- 给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度
设计约束
- 需支持大量任务
- 需支持秒级的调度
- 周期任务需要多次执行
- 需保证秒级扫描的高性能,并避免资源浪费
触发器方案
- 定期扫描+延时信息
- 时间轮(Quartz所用方案):时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一种存储环形队列,底层采用数组实现,数组中的每个元素可以存放一个定时任务列表。
- 使用链表存储任务,每个元素代表一个任务
- 使用最小堆存储任务,按执行时间排序,每个节点存储同执行时间任务列表
- 使用时间轮存储任务,每个节点存储同执行时间任务列表
- 使用多级时间轮存储任务,上一级时间轮转过对应刻度后把任务塞入下级时间轮中
触发器-高可用
核心问题
- 不同业务之间,任务的调度相互影响怎么办?
- 负责扫描和触发的机器挂了怎么办?
解法思路
- 存储上,不同国别、业务做资源隔离
- 运行时,不同国别、业务分开执行
- 部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只被触发一次
调度器
- 资源来源
- 资源调度:节点选择、任务分片、任务编排、故障转移
执行器
- 注册、调度、回调、心跳检测