分布式定时任务 | 青训营笔记

柠檬槟榔糖
140 阅读8分钟

这是我参与「第五届青训营」伴学笔记创作活动的第19天

前言

图片.png 每年春节抖音都会有很多有意思的玩法，如果同学们是字节的后端同学，怎么设计今年春节集卡瓜分20亿的技术方案？

业务流程

图片.png

  • 定时扫描抖音用户集卡状态
  • 汇总计算用户的瓜分金额
  • 定时开奖

技术体量

  • 亿级用户规模
  • 十亿级资金规模
  • 百万级读写QPS

方案引出

  • 自动化 + 定时执行 + 海量数据 + 高效稳定 = 分布式定时任务

发展历程

发展历史

windos批处理

  1. 桌面创建文本文档
  2. 更改文件名为自动关机.bat
  3. 修改文件内容为shutdown -s -t 600，代表10min后关机
  4. 双击运行批处理文件

windos任务计划程序

  1. “此电脑”右键点击“管理”
  2. 创建定时任务
图片.png
  1. 写一个脚本，定时执行
    1. 疫情打卡的包，使用脚本执行

Linux命令-CronJob

图片.png
  • eg：30 2 * * * clean_log.sh：凌晨两点定时清理日志
  • 使用简单，稳定可靠
  • 只能控制单台机器，不跨平台

单机定时任务-Timer、Ticker

图片.png

仍然只能控制单台机器

单机定时任务-ScheduledExecutorService

  1. 每5min执行多个定时任务，而且是线程池，不需要为每个任务都创建线程，节约资源
  2. 仅单机可用
图片.png

任务调度- Quartz

  1. 做到了单任务的极致
  2. ** 没有负载均衡**
  3. 对分布式环境支持不好
图片.png

分布式定时任务

如春节发奖活动，需要处理上亿的定时任务，单台机器显然是无法完成的，只能使用分布式定时任务

  1. 平台化管理
  2. 分布式部署
  3. 支持海量数据
图片.png

概述

定义

  • 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
  • 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

分类

  1. 定时任务：特定时间出发，eg：今天15：06
  2. 延迟任务：延迟触发
  3. 周期任务

执行模式

  1. 单机任务：随机触发一台机器执行任务：计算量小、并发量低的任务
  2. 广播任务：广播到所有机器执行同一个任务，如所有机器一起清理日志
  3. Map任务：一个任务可以分出多个子任务，每个子任务负责一部分计算：计算量大、单机无法满足要求的任务
  4. MapReduce任务：Map任务的基础上，还可以对所有子任务的结果做汇报计算：计算量大，需要对子任务结果做汇总的任务

图片.png 发奖金额计算：使用MapReduce，对子任务做汇总计算

定时开奖：使用Map任务

现状

业内流行框架

Xxl-jobSchedulerXTCTElastic-jobSaturn
来源公司美团点评阿里巴巴腾讯当当网唯品会
是否开源是否否是是
任务编排子任务依赖支持支持不支持不支持
任务分片支持支持支持支持支持
高可用支持支持支持支持支持
故障转移支持支持支持支持支持
可视化运维支持支持支持支持支持
  1. 美团点评Xxl-job
    1. 2015年发布，开源且免费，轻量级，简单，维护成本不高，在中小型公司使用广泛
  2. 阿里巴巴SchedulerX 2.0
    1. 阿里巴巴内部广泛使用并久经考验
  3. 腾讯TCT
    1. 仅在腾讯内部使用

关联方案

分布式定时任务vs单机定时任务

  1. 关系
    1. 都可以实现自动化定时、延时、周期性调度任务
  2. 差异
    1. 分布式定时任务可以支撑更大业务体谅
    2. 分布式定时任务的性能、伸缩性、稳定性更高

分布式定时任务vs大数据处理引擎

  1. 关系
    1. 都可以对海量数据做处理
    2. 性能、伸缩性、稳定性都很高
  2. 差异
    1. 定时并不是大数据处理引擎要解决的核心问题
    2. 大数据处理引擎往往致力于将元数据处理成结果数据
    3. 分布式定时任务除此外还可以调用HTTP和RPC服务做业务逻辑处理

实现原理

整体架构

4层核心架构

分布式定时任务核心解决的是触发、调度、执行三个关键问题

  1. 触发器Trigger：解析任务，生成触发事件
  2. 调度器Scheduler：分配任务，管理任务生命周期
  3. 执行器Executor：获取执行任务单元，执行任务逻辑
  4. 控制台Admin：提供任务管理和干预的功能

数据流

图片.png

功能架构

图片.png

具体实现

控制台Admin

  1. Job：任务元数据
    1. 基础信息
    2. 调度时机
    3. 执行行为
    4. 执行方式：广播/Map...
  2. JobInstance：任务运行的实例，一个周期性任务可能有多个实例
    1. Job_id
    2. 触发时间：预期时间与执行时间
    3. 过程信息：消息的id等
    4. 状态&结果
  3. JobResult：任务结果，失败重试每次都会生成一个结果，可能有多个
  4. JobHistory：用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储

触发器Trigger

核心职责：给定一系列任务，解析触发规则，在规定时间点触发任务的调度

设计约束：

  1. 支持大量任务
  2. 秒级调度
  3. 周期任务多次执行
  4. 秒级扫描的高性能

方案一：定时扫描+延迟消息（腾讯字节）

图片.png

方案二：Quartz方案——时间轮

时间轮是一种高效利用县城资源进行批量化调度的模型，本质是一个环形存储队列，底层采用数组实现，每个元素可以存放一个定时任务列表

  • 查询、修改的时间复杂度都是O(1)
  • 多级时间轮：上一级时间轮转过对应刻度后把任务塞入下级时间轮中
图片.png

核心问题

  1. 不同业务之间，任务调度互相影响怎么办？

    1. 存储上：不同国别、业务做资源隔离
    2. 运行时：不同国别、业务分开执行
    3. 部署时：多机房集群部署

  2. 负责扫描和触发的机器挂了怎么办？

    1. Trigger集群模式，避免单点故障，需要避免同一任务被多次触发，通过数据库锁或分布式锁保证任务只能被执行一次

调度器Scheduler

资源来源

  • 业务系统提供的机器资源
    • 优点：任务执行与业务系统共用一份资源，利用率更高
    • 缺点：
      • 更容易发生定时任务脚本影响在线服务的事故：定时任务突发大流量
      • 不能由定时任务平控制扩容缩容
  • 定时任务平台提供机器资源
    • 优点：
      • 任务执行逻辑与业务系统提供的在线服务隔离，避免互相影响
      • 可以优雅的扩容缩容
    • ** 缺点**：
      • 更多机器资源
      • 额外的定时任务平台申请接口权限，而不能直接继承业务系统的权限

资源调度：任务分片

通过任务分片提高任务执行效率和资源利用率，N个执行器，M个庶几乎区段，最好要有M>=N，且M时N的整数倍

图片.png

任务编排

使用有向无环图DAG进行可视化的任务编排

故障转移

  1. 确保部分执行单元失败时，任务最终成功
  2. 分片任务基于一致性hash分发任务，当某个Executor异常时，调度器会将任务分发到其他Executor

高可用

调度器也可以集群部署，做到完全无状态组件，靠消息队列的重试机制保障任务一定会被调度

执行器Executor

基于注册中心，可以做到执行器的弹性扩缩容

图片.png

业务应用

所有需要定时、延时、周期性执行任务的业务场景，都可以考虑使用分布式定时任务

其他的解决方案

1. 发货后10天未收货系统自动确认收货

1.  分布式定时任务：延时任务
2.  消息队列延时消息或者定时消息

2. 春节集卡活动统计完成集卡的用户个数和总翻倍数

1.  分布式定时任务：MapReduce任务
2.  大数据离线处理引擎：离线计算引擎Hive，离线统计
3.  大数据实时处理引擎：实时计算引擎Flink，实时累计

图片.png

avatar
文章
阅读
粉丝