分布式定时任务调度框架xxl-job

191 阅读4分钟

「这是我参与2022首次更文挑战的第28天,活动详情查看:2022首次更文挑战」。

定时任务框架xxl-job

1.xxl-job 简介

www.xuxueli.com/xxl-job/#%E…

2.为什么使用xxl-job

原生定时任务框架:

  • Quartz
  • Timer+TimerTask (jdk自带)
  • scheduled(springboot提供的)

原生定时任务框架的缺点:

  • 仅支持单机部署(集群环境需要单独处理,加锁加标志)
  • 不支持生命周期统一管理(在不重启服务的情况下开启关闭任务)
  • 不支持分片任务
  • 不支持失败重试
  • 不支持动态调整(不重启服务的情况下修改任务参数)
  • 无报警机制
  • 无统计机制

3.搭建xxl-job平台

docker方式搭建:

docker pull xuxueli/xxl-job-admin:2.1.2

配置数据库

找到对应版本下源码

xxl-job/doc/db/tables_xxl_job.sql

自定义数据库连接 挂载日志文件文件

docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://rm-bp1u2h6esm9zyp3y5.mysql.rds.aliyuncs.com:3306/xxl_job?Unicode=true&characterEncoding=UTF-8 --spring.datasource.password=Zy10300936" -p 18080:8080 -v /tmp:/data/applogs --name xxl-job-admin  -d xuxueli/xxl-job-admin:2.1.2

访问 http://121.199.20.51:18080/xxl-job-admin/

用户名密码 admin/123456

4.接入xxl-job

4.1.springboot 接入

4.1.1.依赖

​ 因为xxl-job-admin平台是2.1.2版本的,此处选择对应版本的

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.1.2</version>
</dependency>
4.1.2.配置
### 调度中心部署跟地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl:
  job:
    admin:
      addresses: http://121.199.20.51:18080/xxl-job-admin
    executor:
      ### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
      appname: coframe-job
      ip:
      address: http://sxr99zy.picp.vip
      ### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
      port: 9999
      ### 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
      logpath: /data/applogs/xxl-job/jobhandler
      ### 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
      logretentiondays: 30
    accessToken:

配置完成后,需要在调度平台新增执行器,具体参照5.4执行器管理

image-20200512093750382

把第二步配置的属性注入进XxlJobSpringExecutor

package com.tl.coframe.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author: zhangyao
 * @create:2020-04-14 15:44
 **/
@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
}

4.1.4.开发定时任务

任务分为很多种

主要分为两种模式

###### 1. Bean模式

​ 在执行器中开发job(定时任务)

  1. 分为两种类型 都需要先注入Spring (@Component)
    1. 类形式实现

      1. 定义类 继承自"com.xxl.job.core.handler.IJobHandler"的JobHandler类,实现其中任务方法。

      2. 在实现的方法中通过手动形式注入

        XxlJobExecutor.registJobHandler("定时任务名称,调度平台定义调度任务时使用", new DemoJobHandler());

      3. 调度平台注册定时任务

    2. 方法形式实现(建议使用,方便快捷)

      1. 定义方法 方法格式固定

        public ReturnT execute(String param)

      2. 方法上加入注解@XxlJob(value="定时任务名称,调度平台定义调度任务时使用")

      3. 调度平台注册定时任务

2.GLUE模式

​ 支持Shell,Php等多种形式

​ 与Bean模式的区别是,在调度平台开发定时任务

5.调度中心使用介绍

image-20200414195529628

5.1运行报表

​ 图形化展示所有的执行器,任务调度情况

image-20200414195737028

5.2任务管理

​ 定时任务管理

image-20200414195737028

第四步开发人的定时任务都需要在这里配置,注意jobHandle名称要与开发时配置的jobHandler属性名一致

5.3调度日志

每次任务调度都有日志记录可以查看

5.4执行器管理

针对不同的服务,添加不同的执行器,一个执行器就是一个服务,集群环境下的服务注意配置文件中的appname需要是同一个

image-20200414200347014

添加执行器

appName是4.1.2中配置文件中的appname

名称排序随便写

注册方式

  1. 自动注册:隔一段时间自动调用rpc框架进行注册

  2. 手动录入:自己填入执行器(服务)的ip:port / address

    ip:port是默认方式,默认会获取服务的ip+port进行注册,端口默认9999 可以在4.1.2中的application.yml中修改

    address 是如果不是同一网络环境ip访问不通的时候或者使用动态端口的时候,可以指定address来注册,如果指定了address,ip+port就会失效 address的修改方法同上

5.5用户管理

管理登陆调度平台的用户