分布式定时任务| 青训营笔记

39 阅读2分钟

这是我参与「第五届青训营 」笔记创作活动的第9天

分布式定时任务

什么是分布式定时任务

定义:

  • 定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。
  • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式

按照触发时机分类:

  • 定时任务:特定时间触发的任务
  • 延时任务:延时触发的任务
  • 周期任务:固定时间周期,或者固定频率触发的周期调度

特点:

  • 自动化
  • 平台化
  • 分布式
  • 伸缩性
  • 高可用

按照执行方式分类:

  • 单机任务
  • 广播任务:广播到多个机器上的任务
  • Map任务:每个任务可以分出多个子任务,每个子任务可以负责一部分计算
  • MapReduce任务:在Map任务的基础上,对所有子任务计算结果汇总计算

相比于单机定时任务,分布式定时任务能够支撑更大的任务体量,分布式定时任务性能、稳定性、伸缩性更好。

实现原理

核心架构

分布式定时任务核心任务是要解决:触发、调度、执行 三个核心问题

image.png

触发器(trigger):解析任务生成触发事件
调度器(scheduler):分配任务,管理任务执行周期
执行器(executor):获取任务单元,执行任务逻辑

除此之外还需要admin控制台提供任务管理和干预的功能。

数据流:
image.png

基本概念

任务元数据:是用户对任务属性的定义,包括调度时机以及任务行为 image.png

任务实例:任务实例是任务的一次具体运行实例

image.png

触发器:给定一系列任务,解析任务触发规则,在固定的触发点进行调度

  • 方案1:定式扫描+延时消息

image.png

  • 方案2:时间轮转

image.png

调度器:
解决收集调度资源、资源调度、执行任务逻辑。
资源来源有两类:1、业务系统提供机器资源 2、定时任务平台提供机器资源 资源调度特性:包括节点选择、任务分片、任务编排、故障转移等

小结

本节课程主要讲述了分布式定时任务整体架构以及各个部分的详细设计与实现,知识点较多。