分布式定时任务| 青训营笔记

73 阅读2分钟

image-20230214210649239

单机定时任务 Timer、Ticker,比较好用的还有ScheduledExecutorService

任务调度 Quartz 非常好用

定时任务

定时任务:为了自动完成特定的任务,实时、延时、周期性完成调度过程

分布式定时任务 : 可以处理多机器,把分散的、可靠性差的定时任务纳入到同一的平台上,并实现集群管理调度和分布式部署的一种定时任务的管理方式

平台化管理

分布式部署,突破单机的瓶颈

支持海量数据

分布式定时任务的执行方式:

  • 单机任务: 随机触发一台机器执行任务,适用于计算量小、并发度低的任务
  • 广播任务:广播到所有机器上执行同一个任务,比如所有机器一起清理日志
  • Map任务:一个任务可以分出多个子任务,每个子任务负责一部分的计算。适用于计算量大,单机无法满足要求的任务
  • MapReduce任务: 在Map任务的基础上,还可以对所有子任务的结果做汇总计算,适用于计算量大,并且需要对子任务结果做汇总的任务

业内定时任务框架 XXl-job、SchedulerX、腾讯的txt 生活用途:Windows批处理、Windows任务计划程序

工作用途:cronjob;单机定时任务-Timer、Ticker;单机定时任务_ScheduledExecutorService;任务调度一-Quartz分布式定时任务

分布式定时任务 触发时机:定时、延时、周期

执行方式: 单机、广播、Map、MapReduce

业内流行框架: Xxl-job、SchedulerX、TCT关联技术:单机定时任务、大数据处理引擎

分布式定时任务的原理

核心要素:触发、调度、执行三个关键问题

触发器:Trigger

调度器:Scheduler

执行器:Executor

控制台:Admin

image-20230214100921010

触发器:

定时扫描+延时消息(字节、腾讯方案)

时间轮

image-20230214102316353

用最小堆存储任务

image-20230214102457476

相比于普通链表的查询O(n),x修改O(1)

可以采用多级时间轮: 秒轮、分轮、时轮

image-20230214103038674

查询与修改都是0(1),还是小顶堆的展开

业务之间任务调度相互影响怎么办?

不同国家资源隔离、分开执行、多机房集群化部署,避免单点故障,

为了多处理避免重复执行

分布式锁模式

image-20230214103507935

juejin.cn/course/byte…