这是我参与「第五届青训营 」笔记创作活动的第11天

定时任务

定时任务是系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。分布式定时任务把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

前言

抖音春节活动

抽卡

集齐：集齐卡片有抽奖资格，扫描几亿用户的抽奖信息，然后开奖，适合Map、MapReduce，第一阶段需要汇总，MapReduce，第二阶段只是一个简单的开奖，用Map做。

诉求：自动化；定时执行；海量数据；高效操作

linux CronJob定时任务

单机定时任务 Jave的Timer、Go的Ticker

任务调度框架Quartz 对负载均衡的支持不是很好

分布式定时任务：用一万台机器处理发奖的流程

执行方式：单机任务（随机触发一套机器）；广播任务；Map任务；MapReduce任务

分布式定时任务 vs 大数据处理引擎

• 都可以对海量数据进行处理，性能伸缩性稳定性高

• 差异

  • 定时并不是大数据处理引擎要解决的问题
  • 分布式定时任务还可以调用HTTP和RPC

实现原理

分布式定时任务核心问题：触发、调度、执行

触发器：解析任务，生成触发事件

调度器：分配任务，管理任务生命周期

执行器：获取执行任务单元，执行业务逻辑

任务：job，任务元数据

• 基础信息
• 调度时机
• 执行行为
• 执行方式

任务实例：Jobinstance任务运行的实例

• job id
• 触发时间
• 状态&结果
• 过程信息

任务结果

任务历史

触发器

定期扫描+延时消息

扫描器10秒执行一次，DB里找到十分钟之内所有需要执行的任务，给Processor，然后给延时MQ执行延时任务，修改DB状态防止重复扫描

时间轮 Quartz采用

遍历任务列表，从中找出当前时间点需要触发的任务列表

可以用最小堆存储任务，按照执行时间排序，查询O(1),修改O(logn)

最小堆用数组实现，数组会变到无限长

采用时间轮

第一个：秒

第二个：分钟

第三个：小时

如果时已经到了，就放到分钟轮里，然后就放到秒轮了，还解决了刻度不够的问题

核心问题

不同业务之间，任务调度互相影响怎么办？

扫描触发机器挂了怎么办？

高可用

存储上，不同国别、业务资源隔离

运行时，不同国别、业务分开执行

部署时，多机房部署

采用数据库行锁：抢锁成功，触发调度

缺点：多台机器频繁竞争数据库锁，节点越多性能越差

分布式锁，Redis锁 or Zookeeper锁

调度器

问题：资源来源（业务系统 or 定时任务平台）

节点选择：随机节点执行；广播执行（批量运维）；分片执行：根据自己的分片逻辑将任务进行拆分；

任务编排：使用有向无环图解决拓扑序问题

故障转移：执行单元失败时，换一个执行器，保证任务最重能够成功

高可用

执行器

机器注册：把自己注册到调度中心

状态上报：心跳检测

业务应用

电商：30分钟未支付关闭订单

互动：支付宝集五福

游戏：定期任务