12 分布式定时任务 ｜ 青训营笔记

nCloser
114 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天

抖音春节活动

  • 用户规模、资金规模、读写QPS高
  • 要求：自动化、定时执行、海量数据、高效稳定

定时任务举例

  • Windows批处理：windows电脑自动关机

  • Windows任务计划程序：自动疫情打卡

  • Linux命令-CronJob：每天定时清理机器日志

    • 使用简单，稳定可靠

    • 只能控制单台机器，且无法适用与其他平台

  • 单机定时任务

    • Timer、Ticker：编写Java、go脚本

      • 可以跨平台、但仍然只能控制单机

    • ScheduledExecutorService

      • 拥有线程池的功能，只能控制单机

  • 任务调度-Quartz

    • 单任务极致控制

    • 没有负载均衡机制

分布式定时任务

  • 平台化管理、分布式部署（突破单机瓶颈）、支持海量数据

  • 什么是分布式定时任务

    定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程

    分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式

  • 以触发时机分类：

    • 定时任务
    • 延时任务
    • 周期任务

  • 特点：自动化、平台化、分布式、伸缩性、高可用

  • 执行方式：单机任务、广播任务、Map任务（拆解成子任务，每个子任务负责一部分的计算）、MapReduce任务（在Map任务基础上，还做汇总计算）

  • 业内定时任务框架：Xxl-job（开源且免费）、SchedulerX、TCT、Elastic-job、Saturn等

    Xxl-jobSchedulerXTCTElastic-jobSaturn
    来源公司美团点评阿里巴巴腾讯当当网唯品会
    是否开源是否否是是
    任务编排子任务依赖支持支持不支持不支持
    任务分片支持支持支持支持支持
    高可用支持支持支持支持支持
    故障转移支持支持支持支持支持
    可视化运维支持支持支持支持支持

  • 分布式定时任务vs单机定时任务

    • 关系：都可以实现自动化的定时、延时、周期任务跳读
    • 差异：分布式的可以支撑更大的业务体量；分布式定时任务的性能、伸缩性、稳定性更高

  • 分布式定时任务vs大数据处理引擎

    • 关系：
    • 差异：定时不是大数据处理引擎的核心问题；分布式定时任务除了将源数据处理成结果数据还可以调动HTTP和RPC服务

实现原理

  • 整体架构

    • 核心架构

  • 数据流

  • 功能架构

控制台Admin

触发器Trigger

方案一：腾讯字节方案

方案二：Quartz方案——时间轮

调度器Scheduler

资源来源

  • 业务系统
  • 定时任务平台

执行器Executor

业务应用

  • 业务应用

    • 所有需要定时、延时、周期性执行任务的业务场景，都可以考虑使用分布式定时任务

  • 知识面扩充

    • 分布式定时任务
    • 单机定时任务
    • 延时消息
    • 离线计算引擎Hive
    • 实时计算引擎Flink
avatar
文章
阅读
粉丝