分布式定时任务篇 | 青训营笔记

是小白_鸭
126 阅读5分钟

这是我参与「第五届青训营」笔记创作活动的第 12 天。笔记旨在记录自己的学习过程以及跟更多人分享交流，重点讲干货，不扣细节，从整体认知。废话不多说，上内容！！！

本堂课重点内容

  1. 前沿
  2. 发展历程
  3. 实现原理
  4. 业务应用

详细知识点介绍

前言

春节集卡瓜分 20 亿

1.png

  • 方案引出

    • 自动化 + 定时执行 + 海量数据 + 高效稳定 = 分布式定时任务

发展历程

生活用途

  • Windows批处理

  • Windows任务计划程序

工作用途
  • Linux命令-CronJob

  • 单机定时任务-Timer、Ticker

  • 单机定时任务-ScheduledExecutorService

  • 任务调度- Quartz

分布式定时任务
  • 分布式定时任务

  • 概述

    • 定义

      • 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
      • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

    • 按触发时机分类:

      • 定时任务:特定时间触发，比如今天15:06执行
      • 延时任务:延时触发，比如10s后执行
      • 周期任务:固定周期时间，或固定频率周期调度触发，比如每隔5s或者每天12点执行

    • 特点

      • 自动化︰全自动完成定时任务的调度和执行

      • 平台化:基于平台化的思维管控一系列的分布式定时任务

      • 分布式:在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈

      • 伸缩性:采用集群方式部署，可以随时按需扩缩容

      • 高可用:单点故障不影响最终任务结果，可以做到故障转移

    • 执行模式

      • 单机任务 ： 随机触发一台机器执行任务，适用于计算量小、并发度低的任务
      • 广播任务 ： 广播到所有机器上执行同一个任务，比如所有机器一起清理日志
      • Map任务 ： 一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务
      • MapReduce任务 ： 在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务

    • 现状

      • 业内流行框架

        Xxl-jobSchedulerXTCTElastic-jobSaturn
        来源公司美团点评阿里巴巴腾讯当当网唯品会
        是否开源是否否是是
        任务编排子任务依赖支持支持不支持不支持
        任务分片支持支持支持支持支持
        高可用支持支持支持支持支持
        故障转移支持支持支持支持支持
        可视化运维支持支持支持支持支持

      • 美团点评 Xxl-job

        • Xxl-job是大众点评员工许雪里于2015年发布的分布式任务调度平台，是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。XXL-JOB支持分片，简单支持任务依赖，支持子任务依赖不是跨平台的。
        • Xxl-job很大一个优势在于开源且免费，并且轻量级，开箱即用，操作简易，上手快，企业维护起来成本不高，因而在中小型公司使用非常广泛。

      • 阿里巴巴 SchedulerX

        • 分布式任务调度SchedulerX 2.0是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。
        • SchedulerX可在阿里云付费使用。它功能非常强大，在阿里巴巴内部泛使用并久经考验。

      • 腾讯 TCT

        • 分布式任务调度服务(Tencent Cloud Task)是腾讯云自主研发的一款 高性能、高可靠通用的分布式任务调度中间件，通过指定时问规则严格触友调度任务，保障调度任务的可靠有序执行。该服务支持国际通用的时间表达式、调度任务执行生命周期管理，解决传统定时调度任务单点及并发性能问题。 同时，支持任务分片、流程编排复杂调度任务处理能力，德益)i之H'士方归文应用场景。
        • TCT仅在腾讯内部使用，未开源，也未商用。

2.png

  • 关联方案

    • 单机定时任务
    • 大数据处理引擎

实现原理

整体架构
  • 核心架构

3.png

  • 数据流

  • 功能架构

控制台 Admin

4.png

触发器 Trigger

  • 核心职责

    • 给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度

  • 设计约束

    • 需支持大量任务

    • 需支持秒级的调度

    • 周期任务需要多次执行

    • 需保证秒级扫描的高性能，并避免资源浪费

  • 方案一：腾讯字节方案

5.png

  • 方案二：Quartz方案——时间轮

6.png

调度器Scheduler

  • 资源来源

  • 资料调度

  • 任务执行

执行器Executor

实践练习例子

  • 业务应用

8.png

课后个人总结

  1. 分布式定时任务的方案，都是基于单点+集群的模式，即选中一个系统作为单点保证任务不会重复，其他服务执行任务确保系统高可用、低负载。
  2. 对于并发场景不是特别高的系统来说，xxl-job配置部署简单易用，不需要引入多余的组件，同时提供了可视化的控制台，使用起来非常友好，是一个比较好的选择。希望直接利用开源分布式框架能力的系统，建议根据自身的情况来进行合适的选型。

引用参考

  1. 稀土掘金字节内部课
  2. 分布式定时任务那些事儿
  3. 后端专场 学习资料五 第五届字节跳动青训营
avatar
文章
阅读
粉丝