这是我参与「第五届青训营 」伴学笔记创作活动的第11天。
分布式定时任务
春节活动样例
应该如何设计最终开奖环节的技术方案？
利用扫描脚本扫描集卡信息，然后进行汇总计算。
用户定时开奖。
上述样例中用户规模上亿、资金规模上亿、读写QPS高达百万级别。
提出了自动化+定时执行+海量数据+高效稳定的要求，上述要求催生了分布式定时任务。
发展历程
定时任务
Windows 批处理
Windows任务计划程序
发展历史
Linux命令-CronJob
每天2：30定时清理机器日志。
优势：Linux系统命令、使用简单、稳定可靠
缺点：智能控制单台机器，且无法适用于其他的操作系统
单机定时任务-Timer、Ticker
每隔5分钟定时刷新本地缓存数据。
单机定时任务-ScheduledExecutorService
任务调度-Quartz
定时任务的事实标准。
能做到单任务的极致控制
但是没有负载均衡机制
分布式定时任务
概述：
定义： 定时任务是指系统为了自动完成待定任务，实时、延时、周期性的完成任务调度的过程。 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
按照触发时机进行分类：
- 定时任务：特定时间触发，在某一天的特定时间点。
- 延时任务：延时触发，如10S后执行。
- 周期任务：固定周期时间，或者固定频率周期调度触发，如每天12点或每隔5S执行。
特点：
平台化管理；分布式部署；支持海量的数据
- 自动化：全自动完成定时任务的调度和执行。
- 平台化：基于平台化的思维管控一系列的分布式定时任务。
- 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈。
- 伸缩性：采用集群方式部署，可以随时按需进行扩缩容。
- 高可用：单点故障并不影响最终任务结果，可以做到故障转移。
执行模式：
单机任务：随机触发一台任务进行执行任务，适用于计算量小，并发度低的任务。
广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志。
Map任务：一个任务可以分出多个子任务，每个子任务负责一部分计算，适用于计算量大，单机无法满足要求的任务。
MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务。
现状：
业内流行框架有Xxl-job、SchedulerX、TCT、Elastic-job、Saturn。
关联方案：
单机定时任务
分布式定时任务与单机定时任务：
关系：都可以实现自动化的定时、延时、周期任务调度。
差异：分布式定时任务可以支撑更大的业务体量；分布式定时任务的性能、伸缩性以及稳定性更高。
大数据处理引擎
关系：都可以对海量数据做处理。性能、伸缩性以及稳定性都很高。
差异：定时并不是大数据处理引擎要解决的核心问题；大数据处理引擎往往致力于将源数据处理成结果数据，分布式定时任务除了可以完成这个之外，还可以调用HTTP和RPC服务。
分布式定时任务的核心是要解决触发、调度与执行三个关键问题。
触发器：Trigger，解析任务，生成触发事件。
调度器：Scheduler，分配任务，管理任务生命周期。
执行器：Exectuor，获取执行任务单元，执行任务逻辑。
除此以外还需要一个控制台，用于提供任务管理和干预的功能。
结构：Tigger->Scheduler->Executor->Admin
数据流：
用户->任务基本信息；触发规则；任务代码->控制台->任务DB
功能架构：Admin;Trigger;Scheduler;Executor
基本概念：
任务：Job,任务元数据
任务实例：JobInstance,任务运行的实例
任务结果：JobResult,任务实例运行的结果
任务历史：JobHistory,用户可以修改任务信息，任务实力对应的数据元数据可以不同，因而使用任务历史存储。
未完待续……
