这是我参与「第五届青训营」伴学笔记创作活动的第15天。今天看的是分布式定时任务相关的内容。
定时任务是指系统为了自动完成特定任务,实时、延时或周期性完成任务调度的过程。分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。定时任务是特定时间触发,延时任务是延时触发,周期性任务是固定周期时间或固定频率周期触发。分布式定时任务的执行方式有:单机任务,随机触发一台机器执行任务;广播任务,广播到所有机器上执行同一个任务;Map任务,一个任务可以分出多个子任务,每个子任务负责一部分的计算;MapReduce任务,在Map任务的基础上,还可以对所有子任务的结果做汇总计算,适用于计算量大,并且需要对子任务结果做汇总的任务。
分布式定时任务的核心是触发、调度、执行三个关键问题。触发器:Trigger,解析任务,生成触发事件。调度器: Scheduler,分配任务,管理任务生命周期。执行器: Executor,获取执行任务单元,执行任务逻辑。控制台(Admin),提供任务管理和干预的功能。触发器的实现方式有定时扫描+延时消息和时间轮方式。时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列,底层采用数组实现,数组中的每个元素可以存放一个定时任务列表。针对高可用,存储上,做资源隔离;运行时,业务分开执行;部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只被触发一次。调度可以选择随机节点执行,广播执行和分片执行。分片执行是按照用户自定义分片逻辑进行拆分,分发到集群中不同节点并行执行,提升资源利用效率。