分布式定时任务（2月8日） ｜ 青训营笔记

tmoon
72 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天

一、本堂课重点内容：

1. 前言
2. 发展历程
3. 实现原理
4. 业务应用

二、详细知识点介绍：

1. 前言
  • 每年春节抖音都会有很多有意思的玩法，如果同学们是字节的后端同学，怎么设计今年春节集卡瓜分20亿的技术方案？

  • 业务流程

    • 定时扫描抖音用户集卡状态
    • 汇总计算用户的瓜分金额
    • 定时开奖

  • 技术体量

    • 亿级用户规模
    • 十亿级资金规模
    • 百万级读写QPS

  • 方案引出

    • 自动化 + 定时执行 + 海量数据 + 高效稳定 = 分布式定时任务
2. 发展历程
  • 发展历史
  • Linux命令-CronJob

  • 单机定时任务-Timer、Ticker

  • 单机定时任务-ScheduledExecutorService

  • 任务调度- Quartz

  • 分布式定时任务

  • 概述

    • 定义

      • 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
      • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

    • 特点

    • 执行模式

      • 单机任务
      • 广播任务
      • Map任务
      • MapReduce任务

    • 现状

      • 业内流行框架

        Xxl-jobSchedulerXTCTElastic-jobSaturn
        来源公司美团点评阿里巴巴腾讯当当网唯品会
        是否开源是否否是是
        任务编排子任务依赖支持支持不支持不支持
        任务分片支持支持支持支持支持
        高可用支持支持支持支持支持
        故障转移支持支持支持支持支持
        可视化运维支持支持支持支持支持

      • 美团点评Xxl-job

      • 阿里巴巴SchedulerX

      • 腾讯TCT

  • 关联方案
    • 单机定时任务
    • 大数据处理引擎
3. 实现原理
  • 整体架构
    • 核心架构

  • 数据流

  • 功能架构

控制台Admin

触发器Trigger

方案一：腾讯字节方案

方案二：Quartz方案——时间轮

调度器Scheduler

资源来源

  • 业务系统
  • 定时任务平台
执行器Executor

4. 业务应用

  • 业务应用

    • 所有需要定时、延时、周期性执行任务的业务场景，都可以考虑使用分布式定时任务

  • 知识面扩充

    • 分布式定时任务
    • 单机定时任务
    • 延时消息
    • 离线计算引擎Hive
    • 实时计算引擎Flink

三、实践练习例子

无

四、课后个人总结：

经过本次课程的学习，我了解了分布式定时任务的概念，学到了很多有用的知识，现阶段只是了解，在今后的学习中，我将学习更多的知识，丰富自己的思想，提高自己的保护意识，做个有素养的代码人！

五、引用参考：

avatar
文章
阅读
粉丝