这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天
为实现在指定时间对海量数据进行高效稳定的自动化操作,我们就需要用到分布式定时任务,本文将对分布式定时任务进行简单的介绍。
什么是分布式定时任务
定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。
分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。
按照触发时机分类可分为:
- 定时任务:在指定的时间触发
- 延时任务:经过指定长度的时间后触发
- 周期任务:经过固定时长周期性的触发
分布式定时任务的特点
- 自动化:全自动完成定时任务的调度和执行
- 平台化:基于平台化的思维管控一系列的分布式定时任务
- 分布式:在分布式系统环境下运行任务调度,突破单机定时任务的性能瓶颈
- 伸缩性:采用集群方式部署,可以随时按需扩缩容
- 高可用:单点故障不影响最终任务结果,可以做到故障转移
分布式定时任务的执行方式
- 单机任务:随机触发一台机器执行任务,因此与普通的定时任务差别不大,具有性能瓶颈。适用于计算量小、并发度低的任务。
- 广播任务:广播到所有机器上执行同一个任务。适用于需要对大量机器执行同一指令时使用。
- Map任务:该执行方式是分布式定时任务的核心。Map任务是指将一个任务分出多个子任务,每个子任务负责一部分的计算。适用于计算量大的任务,突破单机的瓶颈。
- MapReduce任务:是Map任务的扩展,在Map任务的基础上对所有子任务的结果做汇总计算。适用于计算量大并且需要对子任务结果做汇总的任务。
总结
分布式定时任务是一种管理定时任务的平台。根据项目需求的不同,我们需要选择合适的分布式定时任务执行方式。分布式定时任务可以支撑比单机定时任务更大的业务体量,性能也更好。分布式定时任务与大数据处理引擎相比,可以实现定时并且能够调用HTTP和RPC服务。正是因为实际项目的需要和分布式定时任务强大的能力,使得分布式定时任务得到广泛的使用。