这是我参与「第五届青训营」笔记创作活动的第12天

重点内容

前言
发展历程
实现原理
业务应用

知识点介绍

前言

实际业务场景

春节集卡瓜分20亿

抽卡->集齐->开奖

集卡信息<-扫描脚本->发奖金额-->定时开奖

亿级用户规模
亿级资金规模
百万级QPS
自动化
定时执行
海量数据
高效稳定

选择分布式定时任务

发展历程

windows批处理

10分钟后电脑自动关机

右键桌面空白处-新建-文本文档

更改文件名和后缀为"自动关机.bat"

修改文件内容为“shutdown --s --t 600”,代表10分钟后关机

双击运行该批处理文件，电脑将会在10分钟后关机

windows任务计划程序

管理-右键-任务计划程序

Linux命令-CronJob

crontab [ -u user ] file

f1 f2 f3 f4 f5 program

其中 f1 是表示分钟，f2 表示小时，f3 表示一个月份中的第几日，f4 表示月份，f5 表示一个星期中的第几天。program 表示要执行的程序。
当 f1 为 * 时表示每分钟都要执行 program，f2 为 * 时表示每小时都要执行程序，其馀类推
当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行，f2 为 a-b 时表示从第 a 到第 b 小时都要执行，其馀类推
当 f1 为 */n 时表示每 n 分钟个时间间隔执行一次，f2 为 */n 表示每 n 小时个时间间隔执行一次，其馀类推
当 f1 为 a, b, c,... 时表示第 a, b, c,... 分钟要执行，f2 为 a, b, c,... 时表示第 a, b, c...个小时要执行，其馀类推

单机定时任务-Timer、Ticker

func main() {
    ticker := time.NewTicker(5 * time.Minute)
    for {
        select{
            case <-ticker.C:
            SyncLocalCache()
        }
    }
}

任务调度-Quartz

单任务极致控制
没有复杂均衡

分布式定时任务

平台化管理
分布式部署
支持海量数据

什么是分布式定时任务

定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程

分布式任务是把分散的、可靠性查的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式

按触发时机分类

定时任务：特定时间触发，今天10点执行
延时任务：延时触发，10s后执行
周期任务：固定周期时间，或固定频率周期调度触发，每天10点执行

特点

自动化：全自动完成定时任务的调度和执行
平台化：基于平台化的思维管控一系列的分布式定时任务
分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
伸缩性：采用集群方式部署，可以随时按需扩缩容
高可用：单点故障不影响最终任务结果，可以做到故障转移

执行方式

单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志
Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算，适用计算量大，单机无法满足要求的任务
MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务

实现原理

核心架构

分布式定时任务核心要解决触发、调度、执行三个关键

触发器：Trigger，解析任务，生成触发事件
调度器：Scheduler，分配任务，管理任务声明周期
执行其：Executor，获取执行任务单元，执行任务逻辑

还需要一个控制台（Admin），提供任务管理和干预的功能

控制台

基本概念

任务：Job，任务元数据
任务实例：JobInstance，任务运行的实例
任务结果：JobResult，任务实力运行的结果
任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储

任务元数据

任务元数据（Job）是用户对任务属性定义，包括任务类型调度时机、执行行为等

基础信息
调度时机
执行行为
执行方式

任务实例

任务实例（JobInstance）是一个确定的Job的一次运行实例

Job_id
触发时间
状态&结果
过程信息

触发器

核心职责

给定一系列任务，解析他们的触发规则，在规定的时间点触发任务的调度

设计约束

需支持大量任务
需支持秒级调度
周期任务需要多次执行
需保证秒级扫描的高性能，避免资源浪费

方案一

定期扫描+延时消息

方案二

时间轮

时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表

高可用

核心问题

不同业务之间，任务的调度相互影响怎么办
负责扫描和触发的机器挂了怎么办

解法思路

存储上，不通国别、业务做资源隔离
运行时，不同国别、业务分开执行
部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次

分布式定时任务 | 青训营笔记