这是我参与「第五届青训营」伴学笔记创作活动的第12天
前言
春节集卡瓜分20亿。如何设计最终开奖环节的技术方案。自动化、定时执行、海量数据、高效稳定。分布式定时任务。定时清理日志。 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,实现集群管理调度和分布式部署的一种定时任务的管理方式。自动化、平台化。
单机任务:随机触发一台机器执行任务,适用于计算量小,并发度低的任务
广播任务:官博到所有机器上执行同一个任务,比如所有机器一起清理日志。
Map任务:一个任务可以分为多个子任务。每个子任务负责一部分的计算。
分布式定时任务可以支撑更大的业务体量,分布式定时任务的型嫩南瓜、伸缩性、稳定性更高。
定时并不是大数据处理引擎要解决的核心主题。
业内流行的框架:Xxl-job、SchedulerX、TCT。
分布式定时任务核心要解决触发、调度、执行三个关键问题。触发器:trigger,解析任务,生成触发事件。调度器,Scheduler分配任务,管理任务生命周期。执行器:Executor,获取执行单元,执行任务逻辑。
分布式定时任务的特点
- 自动化:全自动完成定时任务的调度及执行
- 平台化:基于平台化的思维管控一系列分布式定时任务
- 分布式:在分布式系统运行环境下运行任务调度
- 高可用:单点故障不影响最终结果,故障可转移
业务应用
-
业务应用
- 所有需要定时、延时、周期性执行任务的业务场景,都可以考虑使用分布式定时任务
-
知识面扩充
- 分布式定时任务
- 单机定时任务
- 延时消息
- 离线计算引擎Hive