这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天。
·知识面扩充
·项目实践能力增强
01. 前言
自动化 + 定时执行 + 海量数据 + 高效稳定 = 分布式定时任务
02. 发展历程
2.1 Windows批处理
2.2 Windows任务计划程序
2.3 Linux命令-CronJob
2.4 单机定时任务-Timer、Ticker
2.5 任务调度-Quartz
2.6 分布式定时任务
·平台化管理
·分布式部署
·支持海量数据
什么是分布式定时任务
定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
按触发时机分类：
·定时任务：特定时间触发
·延时任务：延时触发
·周期任务：固定周期时间，或固定频率周期调度触发
分布式定时任务-执行方式
·单机任务
·广播任务
·Map任务
·MapReduce任务
2.7 业内定时任务框架
美团Xxl-job
阿里SchedulerX
腾讯TCT
2.8 知识面扩充
分布式定时任务VS单机定时任务
关系：
·都可以实现自动化的定时、延时、周期任务调度
差异：
·分布式定时任务可制成更大的业务体量
·分布式定时任务的性能、伸缩性、稳定性更高
分布式定时任务VS大数据处理引擎
关系：
·都可以对海量数据做处理
·性能、伸缩性、稳定性都很高
差异：
·定时并不是大数据处理引擎要解决的核心问题
·大数据处理引擎往往致力于将源数据处理成结果数据，分布式定时任务除了能做这个之外，还可以调用HTTP和RPC服务
03. 实现原理
3.1 核心架构
分布式定时任务核心要解决触发、调度、执行三个关键问题
·触发器：Trigger，解析任务，生成触发事件
·调度器：Schedule，分配任务，管理任务生命周期
·执行器：Executor，获取执行任务单元，执行任务逻辑
除此之外，还需要提供一个控制台（Admin），提供任务管理和干预的功能。
3.1.1 数据流
3.1.2 功能架构
3.2 控制台
3.2.1 基本概念
·任务：Job，任务元数据
·任务实例：JobInstance，任务运行的实例
·任务结果：JobResult，任务实例运行的结果
·任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储
3.2.2 基本概念-任务元数据
任务元数据（Job）是用户对任务属性定义，包括任务类型调度时机、执行行为等。
3.2.3 基本概念-任务实例
任务实例（JobInstance）是一个确定的Job的一次运行实例。
3.3.1 触发器-核心职责
·给定一系列任务，给定它们的触发规则，在规定的时间点触发任务的调度
设计约束：
·需支持大量任务
·需支持秒级的调度
·周期任务需要多次执行
·需保证秒级扫描的高性能，并避免资源浪费
3.3.2 触发器-方案1
定期扫描+延时消息
3.3.3 触发器-方案2
目标：便利任务列表，从中找出当前时间点需触发的任务列表
·链表
·最小堆
·时间轮
3.3.4 触发器-高可用
核心问题
·不同业务之间，任务的调度相互影响怎么办
·负责扫描和触发的机器挂了怎么办
解决思路
·存储上，不同国别、业务做资源隔离
·运行时，不同国别、业务分开执行
·部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次
问题引出
单Trigger模式
会有单点故障
机器故障时平台崩溃
Trigger集群模式
可避免单点故障
需要避免同一任务被多次触发，导致业务紊乱
数据库行锁方式
分布式锁模式：可用Redis锁或Zookeeper锁，性能较高，多家公司使用此方案
3.4 调度器
资源来源、资源调度、资源执行
3.4.1 资源来源
业务系统提供机器资源
优点：
·任务执行逻辑也业务系统公用一份资源，利用率更高
缺点：
·更容易发生定时任务脚本影响在线服务的事故
·不能由定时任务平台控制扩缩容
定时任务平台提供机器资源
优点：
·任务执行逻辑与业务系统提供的在线服务隔离，避免相互影响
·可以优雅地扩缩容
缺点：
·消耗更多机器资源
·需要额外为定时任务平台申请接口调用权限，而不能直接继承业务系统的权限
3.4.2 资源调度-节点选择
随机节点执行
广播执行
分片执行
任务分片
通过任务分片来提高任务执行的效率和资源利用率
3.4.3 高级特性-任务编排
使用有向无环图DAG（Directed Acyclic Graph）进行可视化任务编排 故障转移：确保部分执行单元任务失败时，任务最终成功
3.4.4 调度器-高可用
3.5 执行器
04. 业务应用
电商、互动、游戏
