分布式定时任务 | 青训营笔记

方云123
113 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第12天

前言

本文主要讲述了分布式定时任务，从原理、历史发展、应用等方面详细进行了讲解。此外，还列举单机定时任务与其对比。这里只是简单对分布式定时任务进行讲解，具体的还需要大家自己动手实践。

1.分布式定时任务概念

自动化+定时执行+海量数据+高效稳定=分布式定时任务

1.发展历程

  • windows批处理（自动关机等）
  • windows任务计划程序（自动打卡等)
  • crnjob(linux命令，清理日志等，只能控制单台，只能用于Linux系统）
  • 单机定时任务——Timer、Ticker（刷新缓存数据等，跨平台，仅单机）
  • 单机定时任务——ScheduledExecutorservice（定时执行多个任务等，有线程池功能，仅单机）
  • 任务调度——Quaertz（单任务控制，但没有负载均衡机制） image.png
  • 分布式定时任务
    • 平台化管理
    • 分布式部署
    • 支持海量数据

2.定义

  • 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
  • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

3，分类

按触发时机分类:

  • 定时任务：特定时间触发
  • 延时任务：延时触发
  • 周期任务：固定周期时间，或固定频率周期调度触发

4，特点

  • 自动化：全自动完成定时任务的调度和执行
  • 平台化：基于平台化的思维管控一系列的分布式定时任务
  • 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
  • 伸缩性：采用集群方式部署，可以随时按需扩缩容
  • 高可用：单点故障不影响最终任务结果，可以做到故障转移

5，执行方式

  • 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
  • 广播任务：广播到所有机器上执行同一个任务，
  • Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大的任务
  • MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务

针对于抖音春节集卡活动，计算奖金为MapReduce任务，定时开奖为Map任务 image.png

6，业内定时任务常用框架

image.png

  • Xxl-job：开源且免费，在中小型公司中使用广泛

7，概念对比

  • 分布式定时任务VS单机定时任务
    • 关系：都可自动化定时、延时、周期性任务调度
    • 差别：分布式定时任务可支撑更大业务体量；且性能、伸缩性、稳定性更高
  • 分布式定时任务VS大数据处理引擎
    • 关系：都可对海量数据处理；性能、伸缩性、稳定性高
    • 差别：大数据核心问题不是定时；往往致力于数据处理

2.分布式定时实现原理

1.核心框架

核心：触发、调度、执行

  • 触发器（Trigger）解析任务，生成触发事件调度器：
  • 调度器（Scheduler）分配任务，管理任务生命周期执行器：
  • 执行器（Executor）获取执行任务单元，执行任务逻辑
  • 控制台（Admin），提供任务管理和干预的功能。

关系如下： image.png

数据流 image.png 功能框架 image.png

2.控制台

  • 任务（Job）任务元数据（用户对任务属性的定义）
  • 任务实例（Joblnstance）周期任务会生成多个任务实例，确定的job的一个运行实例
  • 任务结果（JobResult）任务实例运行的结果
  • 任务历史（JobHistory）用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储 image.png

3.触发器

  • 核心职责：解析触发规则，在规定时间触发任务

  • 设计约束：大量任务；秒级调度；周期任务多次执行；高性能

  • 方案

    • 定时扫描+延时消息image.png
    • 时间轮：存储环形队列image.png 高可用

  • 思路

    • 存储上，不同国别、业务做资源隔离
    • 运行时，不同国别、业务分开执行
    • 部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次

  • 模式

    • 数据库行锁模式（但多台机器竞争锁，节点越多性能越差）image.png
    • 分布式锁模式（性能高，可用Redis锁或Zookeeper锁） image.png

4.调度器

资源来源

  • 业务系统提供机器资源
    • 优点：执行逻辑和业务系统共用同一份资源，利用率高
    • 缺点：易发生定时任务脚本影响在线服务事故；不能控制扩缩容
  • 定时任务平台提供机器资源
    • 优点：执行逻辑和业务系统的在线服务相互隔离；支持扩缩容
    • 缺点：消耗机器资源多；需要额外为定时任务平台申请接口调用权限，而不能直接继承业务系统的权限

资源调度

  • 节点选择（随机节点执行：定时对账；广播执行：批量运维；分片执行：海量日志统计）
  • 任务分片
    • 目的：提高任务执行效率和资源利用率
    • N个执行器Executor，M个业务数据区段，最好M>=N，且M是N的整数倍image.png

高级特性

  • 任务编排（有向无环图DAG)
  • 故障转移

高可用 集群部署，靠消息队列重试机制保证任务调度 image.png

5.执行器

基于注册中心，可以弹性扩缩容 image.png

3.分布式定时业务应用

1. 场景

  • 电商（自动关闭订单等)
  • 互动（集五福等）
  • 游戏（定时更新游戏榜单等）

2. 其他方案对比

  • 发货后规定时间内未收货进行自动收货
    • 分布式定时任务的延时任务
    • 消息队列的延时消息或定时消息
  • 春节集卡活动统计
    • 分布式定时任务的MapReduce任务
    • 大数据离线处理引擎Hive离线统计
    • 大数据实时处理引擎Flink实时累计

小结

本文讲述了分布式定时任务的基本概念，主要以科普为主，并与单机定时任务和大数据进行了对比，让我们更加认识到分布式定时任务的强大。具体实践作者下面会找相应的资源进行学习，并且不断更新！

参考

  • 字节跳动分布式定时任务那些事儿教程
avatar
文章
阅读
粉丝