分布式定时任务 | 青训营笔记

67 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 3天

分布式定时任务

本节课程主要分为五个方面:

  1. 分布式定时任务整体架构
  2. 控制台Admin详细设计
  3. 触发器Trigger详细设计
  4. 调度器Scheduler详细设计
  5. 执行器Executor详细设计

分布式定时任务整体架构

定义:

  • 定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。
  • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。

分布式定时任务核心要解决触发、调度、执行三个关键问题

  1. 触发器:Trigger,解析任务,生成触发事件
  2. 调度器:Scheduler,分配任务,管理任务生命周期
  3. 执行器:Executor,获取执行任务单元,执行任务逻辑

image.png

控制台Admin详细设计

image.png

job是任务的元数据,jobinstance是任务运行的实例,可以执行多次,每次执行形成不同的实例,实例运行可能会产生失败,然后产生不同的任务结果。任务历史:存储用户修改任务信息

任务元数据(Job)是用户对任务属性定义,包括任务类型调度时机、执行行为等。

image.png

触发器Trigger详细设计

核心职责:给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度 设计约束:需支持大量任务,需支持秒级的调度,周期任务需要多次执行,需保证秒级扫描的高性能,并避免资源浪费

调度器Scheduler详细设计

资源来源

  • 业务系统
  • 定时任务平台

资源调度-节点选择: 随机节点执行:选择集群中一个可用的执行节点执行调度任务。适用场景:定时对账。 广播执行:在集群中所有的执行节点分发调度任务并执行。适用场景:批量运维。 分片执行:按照用户自定义分片逻辑进行拆分,分发到集群中不同节点并行执行,提升资源利用效率。适用场景:海量日志统计。

资源调度-任务分片:

image.png

执行器Executor详细设计

image.png 基于注册中心,可以做到执行器的弹性扩缩容