xxl-job

325 阅读11分钟

1、前言

XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
    <dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>${最新稳定版本}</version>
</dependency>

2、快速入门

2.1、搭建xxl—job服务后台

从gitee地址拉取代码到本地

2.1.1 初始化“调度数据库”

/xxl-job/doc/db/tables_xxl_job.sql查找sql文件导入数据库执行

2.1.2 项目编译

解压源码,按照maven格式将源码导入IDE, 使用maven进行编译即可,源码结构如下:

1. xxl-job-admin:调度中心
2. xxl-job-core:公共依赖
3. xxl-job-executor-samples:执行器Sample示例(选择合适的版本执行器,可直接使用,也可以参考其并将现有项目改造成执行器)
             :xxl-job-executor-sample-springboot:Springboot版本,通过Springboot管理执行器,推荐这种方式;
             :xxl-job-executor-sample-frameless:无框架版本;

2.1.3 配置部署“调度中心”

1.  调度中心项目:xxl-job-admin
1.  作用:统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。

步骤一:调度中心配置:

  • 调度中心配置文件地址:/xxl-job/xxl-job-admin/src/main/resources/application.properties

  • 只需简单配置数据库链接

  • 调度中心配置内容说明:



 ### 调度中心JDBC链接:链接地址请保持和 2.1章节 所创建的调度数据库的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### 调度中心通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=
 
### 调度中心国际化配置 [必填]: 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文;
xxl.job.i18n=zh_CN

## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100

### 调度中心日志表数据保存天数 [必填]:过期日志自动清理;限制大于等于7时生效,否则, 如-1,关闭自动清理功能;
xxl.job.logretentiondays=30

步骤二:调度中心部署:

如果已经正确进行上述配置,可将项目编译打包部署。

调度中心访问地址:http://localhost:8080/xxl-job-admin (该地址执行器将会使用到,作为回调地址)

默认登录账号 “admin/123456”, 登录后运行界面如下图所示。

image.png

2.2、 配置部署“执行器项目

  1. “执行器”项目:xxl-job-executor-sample-springboot (提供多种版本执行器供选择,现以 springboot 版本为例,可直接使用,也可以参考其并将现有项目改造成执行器)
  2. 作用:负责接收“调度中心”的调度并执行;可直接部署执行器,也可以将执行器集成到现有业务项目中。

步骤一:maven依赖

确认pom文件中引入了 “xxl-job-core” 的maven依赖;

<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>${最新稳定版本}</version>
</dependency>

步骤二:执行器配置

  • 注意在客户端yml中配置

  • 执行器配置,配置文件地址:/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties

  • 执行器配置,配置内容说明:

#调度中心部署根地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

# 执行器通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=

# 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
# 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
# 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=
# 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
# 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
# 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30

xxl.job.executor.port=9999 注意 非客户端服务端口,注意不要和其相同

步骤三:执行器组件配置

配置代码: 添加配置类,直接复制

/**
 * xxl-job config
 *
 * @author xuxueli 2017-04-28
 */
@Configuration
@Slf4j
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        log.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 针对多网卡、容器内部署等情况,可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP;
     *
     *      1、引入依赖:
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置文件,或者容器启动变量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、获取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */
}

任务调度代码逻辑: 具体调度任务的执行逻辑,编写业务代码

@Component
public class XXLService {

    /**
     * 1、简单任务示例(Bean模式)
     */
    @XxlJob("demoJobHandler")
    public void demoJobHandler() throws Exception {
//        XxlJobHelper.log("XXL-JOB, Hello World.");
        System.out.println(LocalDateTime.now());
        // default success
    }
}

2.3、后台页面配置

步骤一:添加执行器

在执行器管理中添加执行器,一个执行器相当于一个客户端项目,执行器下可以有多个任务

xxl.job.executor.appname

image.png

步骤二:添加任务

@XxlJob("demoJobHandler")

image.png

执行任务!!!!完成搭建

3、API调用

1、模拟登录并拿到Cookie

@Test
public void login(){

    JSONObject jsonObject = new JSONObject();
    jsonObject.set("userName", "admin");
    jsonObject.set("password","123456");

    HttpResponse execute = HttpRequest.post("http://127.0.0.1:16666/xxl-job-admin/login")
            .form(jsonObject)
            .execute();
    String header = execute.header("Set-Cookie");
    System.out.println("登录cookie "+header);
}

2、组操作,也就是执行器

    /**
     * 保存组Group  新增执行器组
     */
    @Test
    public void saveGroup(){
        String url="http://127.0.0.1:16666/xxl-job-admin/jobgroup/save";
        JSONObject from = new JSONObject();
        from.set("appname", "xxl-job-boot-demo222");        //应用名称
        from.set("title", "第二个执行器");      //执行器名称[中文]
        from.set("addressType", "1");        //注册方式 :  0为自动注册 1为手动注册
        from.set("addressList", "127.0.0.1:9999");   //addressType为1 的时候手动输入IP地址  逗号分隔
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }
    


    /**
     * 修改组
     */
    @Test
    public void updateGroup(){
        String url="http://127.0.0.1:16666/xxl-job-admin/jobgroup/update";
        JSONObject from = new JSONObject();
        from.set("id", 7);      //组【执行器】ID
        from.set("appname", "xxl-job-boot-demo222");        //组【执行器】应用名称
        from.set("title", "第二个执行器");      //执行器名称【中文】
        from.set("addressType", "1");        //注册方式 :  0为自动注册 1为手动注册
        from.set("addressList", "http://127.0.0.1:9999/");      //多地址逗号分隔
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }
    
    
    /**
     * 删除组
     */
    @Test
    public void removeGroup(){
        String url="http://127.0.0.1:16666/xxl-job-admin/jobgroup/remove";
        JSONObject from = new JSONObject();
        from.set("id", "5");      //删除的【组】id一定不能为空
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }

3、任务操作

一个组可以对应多个任务 定时任务操作:查询,新增,编辑,启动,停止,删除等

    /**
     * 获取指定的执行器下的任务列表
     */
    @Test
    public void pageList(){
        String url="http://127.0.0.1:16666/xxl-job-admin/jobinfo/pageList";
        JSONObject from = new JSONObject();
        from.set("jobGroup", 6);      //执行器、组、 id【必填】
        from.set("triggerStatus", -1);      //任务状态 -1全部  0 停止 1启动【必填】
//        from.set("jobDesc", 1);      // 任务描述
//        from.set("executorHandler", 1);      //@XxlJob注解对应的值
//        from.set("author", "");      //负责人
//        from.set("start", "");      //页码 默认0
//        from.set("length", "");      //页的大小 默认10
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }
    
    

    /**
     * 增加定时任务配置
     */
    @Test
    public void addInfo(){

        String url="http://127.0.0.1:16666/xxl-job-admin/jobinfo/add";

        JSONObject from = new JSONObject();
        from.set("jobGroup",7);        //执行器主键id
        from.set("jobDesc","第二个执行器的第一个任务");         //任务描述
        from.set("author","xulongyu");           //负责人
        from.set("alarmEmail","1932830217@qq.com");     //报警邮件

        from.set("scheduleType","CRON");     //调度类型 【无、表达式、固定速度】
        from.set("scheduleConf","* * * * * ?");     //调度配置
        from.set("cronGen_display","* * * * * ?");     //
        from.set("schedule_conf_CRON","* * * * * ?");     //
        from.set("schedule_conf_FIX_RATE","");     //
        from.set("schedule_conf_FIX_DELAY","");     //
        from.set("misfireStrategy","DO_NOTHING");     //调度过期策略




        from.set("glueType","BEAN");   //运行模式 GLUE类型 #com.xxl.job.core.glue.GlueTypeEnum
        from.set("executorHandler","demoJobHandler");   //@XxlJob注解的值,任务Handler名称
        from.set("executorParam","121454");            //执行器,任务参数
        from.set("executorRouteStrategy","FIRST");     //执行器路由策略
        from.set("childJobId","");               //子任务ID,多个逗号分隔
        from.set("executorBlockStrategy","SERIAL_EXECUTION");        //阻塞处理策略
        from.set("executorTimeout",101);          //任务执行超时时间,单位秒
        from.set("executorFailRetryCount",0);       //失败重试次数
        from.set("glueRemark","GLUE代码初始化");               //GLUE备注
        from.set("glueSource","");               //GLUE源代码

        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }





    /**
     * 修改定时任务配置
     */
    @Test
    public void updateInfo(){
 
        String url="http://127.0.0.1:16666/xxl-job-admin/jobinfo/update";

        JSONObject from = new JSONObject();
        from.set("id",4);             //任务ID 注意:修改必须带主键
        from.set("jobGroup",6);        //执行器主键id
        from.set("jobDesc","测试任务我是最新的测试任务啊啊啊啊啊啊");         //任务描述
        from.set("author","zhanglei");           //负责人
        from.set("alarmEmail","1326209681@qq.com");     //报警邮件
        from.set("scheduleType","CRON");        //调度类型 【无、表达式、固定速度】
        from.set("scheduleConf","* * * * * ?");     //调度配置
        from.set("cronGen_display","* * * * * ?");     //
        from.set("schedule_conf_CRON","* * * * * ?");     //
        from.set("schedule_conf_FIX_RATE","");     //
        from.set("schedule_conf_FIX_DELAY","");     //
        from.set("executorHandler","测试JobHandler");              //执行器,任务Handler名称
        from.set("executorParam","121454");            //执行器,任务参数
        from.set("executorRouteStrategy","FIRST");            //执行器路由策略
        from.set("childJobId","");               //子任务ID,多个逗号分隔
        from.set("misfireStrategy","DO_NOTHING");     //调度过期策略
        from.set("executorBlockStrategy","SERIAL_EXECUTION");        //阻塞处理策略
        from.set("executorTimeout","101");          //任务执行超时时间,单位秒
        from.set("executorFailRetryCount",0);       //失败重试次数
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }



    /**
     * 删除定时任务配置
     */
    @Test
    public void removeInfo(){
        String url="http://127.0.0.1:16666/xxl-job-admin/jobinfo/remove";
        JSONObject from = new JSONObject();
        from.set("id",4);//注意:删除必须带主键
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }




    /**
     * 启动定时任务
     */
    @Test
    public void startInfo(){
        String url="http://127.0.0.1:16666/xxl-job-admin/jobinfo/start";

        JSONObject from = new JSONObject();
        from.set("id",5);             //启动的任务id
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }




    /**
     * 停止定时任务
     */
    @Test
    public void stopInfo(){

        String url="http://127.0.0.1:16666/xxl-job-admin/jobinfo/stop";

        JSONObject from = new JSONObject();
        from.set("id",5);             //任务id
        HttpResponse execute = HttpRequest.post(url)
                .header(HttpHeaders.COOKIE, "XXL_JOB_LOGIN_IDENTITY=7b226964223a312c22757365726e616d65223a2261646d696e222c2270617373776f7264223a226531306164633339343962613539616262653536653035376632306638383365222c22726f6c65223a312c227065726d697373696f6e223a6e756c6c7d")
                .form(from)
                .execute();
        System.out.println(execute);
    }