这是我参与「第五届青训营」伴学笔记创作活动的第10天

前言

在实际业务中，有许多的任务需要准时开始，同时有可能会面临大量的请求。为了提高业务处理的效率和服务的稳定性，需要在以下满足以下几点的要求。

• 自动化
• 定时执行
• 海量数据
• 高效稳定

发展历程

什么是分布式定时任务

• 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程
• 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

按触发时机分类

• 定时任务：特定时间触发
• 延时任务：延时触发
• 周期任务：固定周期实践，或者固定频率周期调度触发

特点

• 自动化：全自动完成定时任务的调度和执行
• 平台化：基于平台的思维管控一系列的分布式定时任务
• 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的的性能瓶颈
• 伸缩性：采用集群方式部署、可以随时按需扩容
• 高可用：单点故障不影响最终任务的结果，可以做到故障转移

执行方式

• 单机任务
• 广播任务
• Map任务
• MaoReduceR任务

实现原理

核心架构

分布式定时任务的核心要解决触发、调度、执行三个关键问题。

• 触发器：解析任务，生成触发事件
• 调度器：分配任务，管理任务生命周期
• 执行器：获取执行任务单元，执行任务逻辑 除了上述几个关键点外，还需要提供一个管理平台用于定时任务的集中管理和干预等功能。

控制台

用于基本业务模型（包括任务元数据、任务实例、任务结果、任务历史）的管理。包括任务的设定、取消、监控等任务管理行为。

触发器

给定一系列任务，解析他们的触发规则，在规定的时间点触发任务的调取。在设计之初需要考虑质量任务的支持、秒级的调度、执行次数的限制以及高性能。

通常，在实际业务中采用定时扫描+演示消息、时间轮两种方案。

调度器

资源来源

• 业务系统
• 定时任务平台

资源调度

• 节点选择
  • 随机节点执行：选择集群中一个可用的执行节点执行调度任务
  • 广播执行：在集群中所有的执行节点分发调度任务并执行
  • 分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用效率
• 任务分片
• 任务编排

任务执行

• 故障转移
• 高可用

执行器

用于任务的具体执行。

业务应用

所有需要定时、延时、周期性执行的任务场景

• 超时自动取消、发放优惠券等
• 瓜分红包
• 补发用户奖励