分布式定时任务详解

贩梦先生007
410 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 8 天

分布式定时任务

分布式定时任务的定义

  • 定时任务：系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程
  • 分布式定时任务：把分散的、可靠性差的定时任务纳入统一平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式

image-20230208113536709

按触发时机分类

  1. 定时任务：在特定时间触发，比如在2.00时触发
  2. 延时任务：延时触发，比如10s后触发
  3. 周期任务：固定周期时间，或固定频率周期调度触发，比如每隔5s触发

分布式定时任务的特点

  • 自动化：全自动完成定时任务的调度和执行
  • 平台化：基于平台化的思维管控一系列的分布式定时任务
  • 分布式：在分布式系统下运行任务调度，突破单机定时任务的性能瓶颈
  • 伸缩性：采用集群方式部署，可随时按需扩容
  • 高可用：单机故障不影响最终任务结果，可故障转移

分布式定时任务的执行方式

  • 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
  • 广播任务：广播到所有机器一起执行同一个任务，适用于多机器同时清理日志等
  • Map任务：一个任务可以分出多个子任务，每个子任务完成一部分的计算，适用于计算量大、单机无法满足要求的任务
  • MapReduce任务：在Map任务的基础上，还可以对所有的子任务的结果进行汇总计算，适用于、计算量大，并且需要对子任务汇总的任务

执行方式 VS 春节打卡

image-20230208114531484

例如每年的春节集卡活动，是亿级用户规模、亿级资金规模、百万级读写的需求，单机是无法承载那么高的数据量的，因此，得采用分布式的多机器去执行，用MapReduce任务，获取每个用户的集卡信息、获奖金额进行扫描并汇总计算，然后通过Map任务去分发每个用户的奖金

发展历程

windows批处理

Windows定时关机任务

  1. 新建文本文档
  2. 更改文件名和后缀为“自动关机.bat”
  3. 写入文本内容“shutdown -s -t 600”，10分钟后关机
  4. 双击运行

最简单的单机延时任务

Windows任务计划程序

image-20230208115519006

image-20230208115544679

可以给电脑设置多种单机定时任务

Cronjob定时任务（基于Linux系统）

1.编写配置文件cron.yaml

apiVersion: batch/v2alpha1 #版本
kind: CronJob #类型
metadata:
  name: hello #数据名称
spec:
  schedule: "*/1 * * * *" #定时策略
  jobTemplate:
    spec:
      containers:
      - name: hello #容器名称
        image: busybox #镜像名称
        args:
        - /bin/sh
        - -c
        - date;echo Hello from the Kubernetes cluster #执行命令
      restartPolicy: OnFailure #重启策略

2.创建命令

kubectl create -f cron.yaml

3.查看任务状态

kubectl get cronjob hello

4.删除任务

kubectl delete cronjob hello

Quartz任务调度

image-20230208122452721

  • 单任务极致控制
  • 无负载均衡

分布式定时任务

image-20230208122608624

分布式定时任务的实现原理

分布式定时任务，核心要解决触发、调度、执行三个关键问题

  • 触发器：解析任务，生成触发事件
  • 调度器：分配任务，管理任务生命周期
  • 执行器：获取任务单元，执行任务逻辑

image-20230208123006752

控制台

image-20230208123133812

  • Job：任务元数据
  • Joblnstance：任务实例
  • JobResult：任务实例执行的结果
  • JobHistory：任务实例对应的任务元数据可能不同，因此采用任务历史存储

触发器

设计约束

  • 需支持大量任务
  • 需支持秒级的调度
  • 周期性任务需要多次执行
  • 保证高性能并避免资源浪费

方案一

定期扫描 + 延时消息

image-20230208123644924

方案二

链表

image-20230208123911255

查询的时间复杂度较高

小根堆

image-20230208123943150

虽然改善了查询时间复杂度，但增加了修改的时间复杂度

时间轮（将小根堆的首尾相连）

image-20230208123730758

将查询、修改的时间复杂度都优化到了O（1）

对于单圈时间轮无法到达的任务，因增加引用计数count，保存时间轮需要转的圈数

触发器的高可用性

image-20230208124324462

  • 存储上 ：业务做资源隔离
  • 运行时：业务分开执行
  • 部署时：采用多集群化部署，通过数据库行锁或分布式锁保证任务只被触发一次

调度器

资源来源

image-20230208124853836

资源调度

任务分片

image-20230208125006386

任务编排

使用有向无环图

image-20230208125035640

故障转移

image-20230208125107019

执行器

image-20230208125253382

业务实例

  • 电商：订单30分钟未付款自动关闭订单
  • 互动：支付宝集五福
  • 游戏：活动结束后，批量发放用户的奖励
avatar
文章
阅读
粉丝