分布式定时任务 | 青训营笔记

97 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天。

一、发展历程

Windows批处理

10分钟后Windows电脑自动关机

  • 桌面空白处右键单击-新建-文本文档。
  • 更改文件名和后缀为"自动关机.bat"。
  • 修改文件内容为“shutdown -s -t 600”,代表10分钟后关机双击运行该批处理文件,电脑将会在10分钟之后自动关机。

Windows任务计划程序

自动执行程序

  • 右击此电脑,单击管理
  • 进入计算机管理界面,点击任务计划程序,就可以在这里创建一个自动执行的程序

Linux命令-CronJob

每天02:30定时清理机器日志——302 * * * clean_log.sh

Linux系统命令,使用简单,稳定可靠 只能控制单台机器,且无法适用于其他操作系统。

单机定时任务-Timer、Ticker

每隔5分钟定时刷新本地缓存数据

//java
public static void main(String[] args) throws ParseException {
    Timer timer = new Timer();
    timer.schedule(new TimerTask() {
        @Override
        public void run() {
            syncLocalcache();
        }
    }, 50005 * 60 * 1000) ;
}

//Go
func main() {
    ticker := time.NewTicker(5 * time. Minute)
    for{
        select {
        case <-ticker.C:
            syncLocalCache()
        }
    }
}

  • 跨平台
  • 仅单机可用

单机定时任务-ScheduledExecutorService

每隔5分钟定时执行多个任务

private static ScheduledExecutorService scheduler;
    public static void main(String[] args) throws Exception {
        scheduler = Executors.newScheduledThreadPool(5);
        
        scheduler.scheduleAtFixedRate(((
                    new Runnable() {
                        @override

                        public void run() {
                            DoSomething();
                        }
                    })),

                0,300,
                TimeUnit.SECONDS);
    }
  • 拥有线程池功能
  • 仅单机可用

任务调度-Quartz

  • 单任务极致控制
  • 没有负载均衡机制

分布式定时任务-特点

  • 自动化:全自动完成定时任务的调度和执行
  • 平台化:基于平台化的思维管控一系列的分布式定时任务
  • 分布式:在分布式系统环境下运行任务调度,突破单机定时任务的性能瓶颈
  • 伸缩性:采用集群方式部署,可以随时按需扩缩容
  • 高可用:单点故障不影响最终任务结果,可以做到故障转移

分布式定时任务-执行方式

  • 单机任务:随机触发一台机器执行任务,适用于计算量小、并发度低的任务广播任务:广播到所有机器上执行同一个任务,比如所有机器一起清理日志。
  • Map任务:一个任务可以分出多个子任务,每个子任务负责一部分的计算。适用于计算量大,单机无法满足要求的任务。
  • MapReduce任务: 在Map任务的基础上,还可以对所有子任务的结果做汇总计算,适用于计算量大,并且需要对子任务结果做汇总的任务。

分布式定时任务VS单机定时任务 关系:

  • 都可以实现自动化的定时、延时、周期任务调度
    

差异:

  • 分布式定时任务可支撑更大的业务体量
    
  • 分布式定时任务的性能、伸缩性、稳定性更高
    

分布式定时任务VS大数据处理引擎 关系:

  • 都可以对海量数据做处理
    
  • 性能、伸缩性、稳定性都很高
    

差异:

  • 定时并不是大数据处理引擎要解决的核心问题
    
  • 大数据处理引擎往往致力于将源数据处理成结果数据,分布式定时任务除了能做这个之外,还可以调用HTTP和RPC服务
    

收获:通过对本次课程的学习,增加了我对分布式定时任务建立起宏观的认知,也了解了关联的单机定时任务、大数据处理引擎等,拓展了相关知识面。