这是我参与「第三届青训营 -后端场」笔记创作活动的的第 5 篇笔记

简介

定时任务是指系统为了自动完成特定任务，实时、延时、周期性的完成任务调度的过程。在此之上，分布式定时任务是把分散的，可靠性差的定时任务纳入统一的平台，并实现集群自动管理调度和分布式部署的一种定时任务的管理方式。

对于后端开发来说，定时任务在项目中的需求是很常见的，例如每隔5分钟刷新本地缓存数据：

func main() {
   ticker := time.NewTicker(5 * time.Minute)
   for{
      select {
      case <- ticker.C:
         SyncLocalCache()
      }
   }
}

相比于单机上的定时任务，这种分布式定时任务的优势有:

• 自动化：全自动完成定时任务的调度和执行
• 平台化：基于平台化思维管控一系列的分布式定时任务
• 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
• 伸缩性：采用集群部署，可以按照需求随时扩充
• 高可用：单点故障不影响最终任务结果，可以做到故障转移

执行方式：

• 单机任务：随机触发一台机器执行任务，适用于计算量小，并发量低的任务
• 广播到所有机器上执行同一个任务，比如所有机器一起清理日志
• MAP任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务。
• MapReduce任务：在MAP任务的基础上，还可以对所有的子任务的结果做汇总计算，适用于计算量大，并且需要对子任务做汇总的任务

在定时任务领域也有些比较稳定的第三方框架如：Xxl-job,SchedulerX,TCT等等

知识拓展：

实现原理

分布式定时任务核心要解决触发，调度，执行三个关键问题，分层次划分如下：

• 触发器：Trigger，解析任务，生成触发事件
• 调度器：Scheduler，分配任务，管理任务生命周期
• 执行器：Executor，获取执行任务单元，执行任务逻辑

除此之外，还需要提供一个控制台，提供任务管理和干预的功能。功能架构图：

触发器

触发器的核心职责是在给定一系列任务后，解析他们的触发规则，在规定的时间点触发任务调度

在设计的时候我们将要满足：

• 支持大量的任务
• 支持秒级的调度
• 周期任务需多次执行
• 保证秒级扫描的高性能，避免资源浪费

触发器在实现上主要有2中方案，第一种是用定期扫描和延时消息完成：

另一种是采用时间轮的方案。时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。它是一个储存环形队列，底层采用数组实现，数组中的每一个元素可以存放一个定时任务列表。若对触发时间有精细要求，可采用多级时间轮存储任务：上一级时间轮转过对应刻度之后把任务塞到下级时间轮中，若触发时间与设置的时间相等则把任务交给下一层次的调度器处理。

调度器

调度器需要获取资源，调度资源并分配给所需的任务，下面比较2种提供资源的方式：

在后续执行任务的节点选择上，也有三种方式：

• 随机节点执行：选择集群中一个可用的执行节点执行调度。
• 广播执行：在集群中所有的执行节点分发调度任务并执行。
• 分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用率。

执行器

基于注册中心，可以做到执行器的弹性扩缩容