分布式定时任务 | 青训营笔记

llx
126 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天

分布式定时任务

定时任务：系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程

分布式定时任务：分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

按触发时机分类：

  • 定时任务：特定时间触发
  • 延时任务：延时触发
  • 周期任务：固定周期时间，周期频率周期调度

执行方式：

  • 单机
  • 广播
  • Map
  • MapReduce

业内流行框架：

  • Xxl-job
  • SchedulerX
  • TCT

分布式定时任务与单机定时任务

  • 关系：都可以实现自动化的定时、延时、周期性任务调度
  • 差异：分布式定时任务可支撑更大的业务体量，性能、伸缩性、稳定性更高

分布式定时任务与大数据处理引擎

  • 关系：都可以对海量数据做处理，性能、伸缩性、稳定性都高
  • 差异：定时并不是大数据处理引擎要解决的核心问题，分布式定时任务除将源数据处理成结果，还要调用http和rpc服务

Windows批处理

10mins后电脑自动关机

  1. 桌面空白处右键单机-新建-文本文档
  2. 更改文件名和后缀为“自动关机.bat"
  3. 修改文件内容为"shutdown -s -t 600"，代表10分钟后关机
  4. 双击该批处理文件，电脑在10分钟后自动关机

Linux命令-CronJob

  1. 每天02：30定时清理机器日志
30 2 * * * clean_log.sh #分 时 日 月 每周每天
  1. 每隔5分钟定时刷新本地缓存数据
public static void main(String[] args) throws ParseException{
    Timer timer = new Timer();
    timer.schedule(new TimerTask()){
        @Override
        public void run(){
            SyncLocalCache();
        }
    },5000,5*60*1000);
}

go语言

func main(){
    ticker := time.NewTicker(5*timer.Minute)
    for {
        select{
            case<-ticker.C:
            SyncLocalCache()
        }
    }
}

任务调度-Quartz

image-20230208155717417.png

实现原理

整体架构

核心：解决触发、调度、执行三个关键问题

  • 触发器：Trigger，解析任务，生产触发事件

    • 功能：解析引擎、Scanner、状态流转、可靠投递

  • 调度器：Scheduler，分配任务，管理任务生命周期

    • 功能：调度、负载均衡、容错、幂等控制、限流、计费等

  • 执行器：Executor，获取执行任务单元，执行任务逻辑

    • 注册、任务获取，任务执行、日志处理、任务回调

还需要一个控制台（admin）

功能：

  • 元数据存储、元数据状态流转、任务分片、任务依赖
  • 规则引擎、日志管理、监控报警，任务暂停/恢复

数据流

image-20230208163635345.png

控制台

image-20230208164805232.png

任务元数据（job）：用户对任务属性定义，包括任务调度时机、执行行为等

任务实例：确定的job的一次运行实例

触发器

给定一系列任务，解析他们的触发规则，在规定的时间点触发任务的调度

方案：

  • 定时扫描+延时方案（腾讯+字节）
  • 时间轮（Quartz）

高可用模式：

  • 单节点模式：会出现单点故障
  • 集群模式：需要避免同一任务被多次触发导致业务紊乱
  • 数据库行锁模式：在触发调度之前更新数据库中任务实例的状态，成功抢锁的才会触发调度
  • 分布式锁模式：在触发调度之前抢占分布式锁，可以用redis锁和zookeeper锁

调度器

资源来源：

  • 业务系统提供机器资源：任务执行逻辑和业务系统共用一份资源，利用率高
  • 定时任务平台提供机器资源：支持扩缩容

高可用方式：通过消息队列的重试机制

avatar
文章
阅读
粉丝