个人分布式定时任务课程笔记|青训营笔记

73 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天

得益于讲师讲得挺清晰透彻,没找到什么不明白的细节要补充。就在这里写写笔记以防自己以后忘记好了。

定时任务:系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程 分布式定时任务:把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式

按触发时机分类,定时任务可分为:1、特定时间触发2、延时触发3、固定周期时间,或固定频率周期调度触发 按触发方式分类,执行方式有:1、单机任务: 随机触发一台机器执行任务

2、广播任务: 广播到所有机器上执行同一个任务

3、Map任务: 一个任务可以分出多个子任务,每个子任务负责一部分的计算。

4、MapReduce任务: 在Map任务的基础上,对所有子任务的结果做汇总计算

分布式调度系统核心架构 触发器——调度器——执行器,并全部可由控制台进行管理。

触发器——给定规则和任务,解析规则,触发任务至调度器。

如何支持大量任务、精确到秒级的调度、扫描性能

调度器——进行任务资源调度

如何确认任务调度的唯一性、资源的分配、故障处理、任务调度冲突如何解决

执行器——实际运行任务实例,并保存日志、结果等用于上报

注册到调度器、回调请求、执行状态上报

同时还要注意整个系统高可用、故障转移能力、确保任务调度成功且唯一

应储存 任务——任务实例(实际运行过程)——任务结果——任务历史(历史信息)