初识分布式任务调度平台-XXL-JOB

杉杉予念
1,774 阅读9分钟

由于项目需要用到定时任务开发，并且由于是分布式系统，所以决定采用xxl-job框架。 官方地址：www.xuxueli.com/xxl-job

快速入门

下载源码

首先我们下载好源码：源码地址为 gitee.com/xuxueli0323… 我使用git下载： git clone https://gitee.com/xuxueli0323/xxl-job.git

项目结构

xxl-job-admin：调度中心  作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。
xxl-job-core：公共依赖
xxl-job-executor-samples：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）
    ：xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器，推荐这种方式；
    ：xxl-job-executor-sample-spring：Spring版本，通过Spring容器管理执行器，比较通用；
    ：xxl-job-executor-sample-frameless：无框架版本；
    ：xxl-job-executor-sample-jfinal：JFinal版本，通过JFinal管理执行器；
    ：xxl-job-executor-sample-nutz：Nutz版本，通过Nutz管理执行器；
    ：xxl-job-executor-sample-jboot：jboot版本，通过jboot管理执行器；

我们主要使用xxl-job-admin：调度中心和xxl-job-executor-sample-jboot 执行器。

初始化数据库

我们需要新建一个数据库xxl_job。 用idea打开之后。找到/xxl-job/doc/db/tables_xxl_job.sql这个sql文件。具体如下：

#
# XXL-JOB v2.2.1-SNAPSHOT
# Copyright (c) 2015-present, xuxueli.

CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
use `xxl_job`;

SET NAMES utf8mb4;

CREATE TABLE `xxl_job_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_cron` varchar(128) NOT NULL COMMENT '任务执行CRON',
  `job_desc` varchar(255) NOT NULL,
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  `author` varchar(64) DEFAULT NULL COMMENT '作者',
  `alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',
  `executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',
  `executor_timeout` int(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位秒',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',
  `glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',
  `child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
  `trigger_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '调度状态：0-停止，1-运行',
  `trigger_last_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '上次调度时间',
  `trigger_next_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '下次调度时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址，本次执行的地址',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',
  `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
  `trigger_msg` text COMMENT '调度-日志',
  `handle_time` datetime DEFAULT NULL COMMENT '执行-时间',
  `handle_code` int(11) NOT NULL COMMENT '执行-状态',
  `handle_msg` text COMMENT '执行-日志',
  `alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',
  PRIMARY KEY (`id`),
  KEY `I_trigger_time` (`trigger_time`),
  KEY `I_handle_code` (`handle_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_log_report` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',
  `running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',
  `suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',
  `fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_logglue` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_registry` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `registry_group` varchar(50) NOT NULL,
  `registry_key` varchar(255) NOT NULL,
  `registry_value` varchar(255) NOT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_group` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `app_name` varchar(64) NOT NULL COMMENT '执行器AppName',
  `title` varchar(12) NOT NULL COMMENT '执行器名称',
  `address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型：0=自动注册、1=手动录入',
  `address_list` varchar(512) DEFAULT NULL COMMENT '执行器地址列表，多地址逗号分隔',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL COMMENT '账号',
  `password` varchar(50) NOT NULL COMMENT '密码',
  `role` tinyint(4) NOT NULL COMMENT '角色：0-普通用户、1-管理员',
  `permission` varchar(255) DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_lock` (
  `lock_name` varchar(50) NOT NULL COMMENT '锁名称',
  PRIMARY KEY (`lock_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL);
INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_cron`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '0 0 0 * * ? *', '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');

commit;

配置部署“调度中心”

修改调度中心配置

配置文件位置：/xxl-job/xxl-job-admin/src/main/resources/application.properties 我主要修改的是数据库地址和密码

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

启动调度中心服务

启动XxlJobAdminApplication,默认启动端口为8080。此时我们访问http://localhost:8080/xxl-job-admin 默认登录账号 “admin/123456”。

配置部署执行器

使用到的执行器项目为：xxl-job-executor-sample-springboot 在自己的项目中。我们只需要在pom中引入xxl-job-core依赖即可。 这个示例项目中已经引入了依赖

<!-- xxl-job-core -->
<dependency>
	<groupId>com.xuxueli</groupId>
	<artifactId>xxl-job-core</artifactId>
	<version>${project.parent.version}</version>
</dependency>

启动执行器

默认的调度中心地址是http://127.0.0.1:18080/xxl-job-admin， 可以直接启动XxlJobExecutorApplication

示例helloword可以直接查看官方文档。

具体的执行器模式分析

执行器模式有如下分类：

  1. BEAN模式
    1. 类形式
    2. 方法形式
  2. GLUE模式(Java)

简单来说。BEAN模式下的类形式 就是一个任务需要新建一个java类; 方法形式是在方法上使用@XxlJob注解即可添加一个任务;

**GLUE模式(Java)**即是使用在线的代码在调度中心来新建任务。不需要你更改项目的源码即可做到实时更新任务。我在项目中采用GLUE模式。

Bean模式开发步骤：

  1. 在Spring Bean实例中，开发Job方法，方式格式要求为 "public ReturnT execute(String param)"
  2. 为Job方法添加注解 "@XxlJob(value="自定义jobhandler名称", init = "JobHandler初始化方法", destroy = "JobHandler销毁方法")"，注解value值对应的是调度中心新建任务的JobHandler属性的值。
  3. 执行日志：需要通过 "XxlJobLogger.log" 打印执行日志；

BEAN模式-类形式

  • 新建一个类继承IJobHandler,并实现其方法
public class BeanClassJob extends IJobHandler {
    @Override
    public ReturnT<String> execute(String param) {
        // 在执行日志中打印
        XxlJobLogger.log("BeanClassJob test success!");
        return ReturnT.SUCCESS;
    }
}
  • 手动注入到执行器容器 在XxlJobConfig类中将这个类注入成一个执行器，自定义名为beanClassJobHandler。重新启动执行器项目。
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
    logger.info(">>>>>>>>>>> xxl-job config init.");
    XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
    xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
    xxlJobSpringExecutor.setAppname(appname);
    xxlJobSpringExecutor.setAddress(address);
    xxlJobSpringExecutor.setIp(ip);
    xxlJobSpringExecutor.setPort(port);
    xxlJobSpringExecutor.setAccessToken(accessToken);
    xxlJobSpringExecutor.setLogPath(logPath);
    xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

    // 注册BEAN模式（类形式），执行器名为beanClassJobHandler
    XxlJobExecutor.registJobHandler("beanClassJobHandler", new BeanClassJob());
    return xxlJobSpringExecutor;
}

在任务管理中添加任务:http://localhost:8080/xxl-job-admin/jobinfo

运行模式选择 bean，JobHandler填入beanClassJobHandler，需要与代码中自定义的相同。保存后，选择操作-执行一次；即可以在日志中心中看到一条成功数据，选择操作-执行日志即可看到如下：
说明我们执行成功~！

BEAN模式-方法形式

在源码中有方法形式示例

@Component // 注入spring容器
public class SampleXxlJob {
    /**
     * 简单任务示例（Bean模式）
     */
    @XxlJob("demoJobHandler")
    public ReturnT<String> demoJobHandler(String param) throws Exception {
        XxlJobLogger.log("XXL-JOB, Hello World.");

        for (int i = 0; i < 5; i++) {
            XxlJobLogger.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        return ReturnT.SUCCESS;
    }
}

在任务列表中执行一次示例任务

在执行日志中可以看到

2020-07-04 23:52:29 [com.xxl.job.core.thread.JobThread#run]-[124]-[Thread-127] 
----------- xxl-job job execute start -----------
----------- Param:
2020-07-04 23:52:29 [com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler]-[42]-[Thread-127] XXL-JOB, Hello World.
2020-07-04 23:52:29 [com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler]-[45]-[Thread-127] beat at:0
2020-07-04 23:52:31 [com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler]-[45]-[Thread-127] beat at:1
2020-07-04 23:52:33 [com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler]-[45]-[Thread-127] beat at:2
2020-07-04 23:52:35 [com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler]-[45]-[Thread-127] beat at:3
2020-07-04 23:52:37 [com.xxl.job.executor.service.jobhandler.SampleXxlJob#demoJobHandler]-[45]-[Thread-127] beat at:4
2020-07-04 23:52:39 [com.xxl.job.core.thread.JobThread#run]-[164]-[Thread-127] 
----------- xxl-job job execute end(finish) -----------
----------- ReturnT:ReturnT [code=200, msg=null, content=null]
2020-07-04 23:52:39 [com.xxl.job.core.thread.TriggerCallbackThread#callbackLog]-[191]-[xxl-job, executor TriggerCallbackThread] 
----------- xxl-job job callback finish.
[Rolling Log Finish]

GLUE模式

我们在任务列表中，点击新建任务选择GLUE（java）。

在任务列表中即看到刚添加的这条任务， 打开在线编写代码的页面，在该界面支持对任务代码进行开发（也可以在IDE中开发完成后，复制粘贴到编辑中）。

打开之后就是如下：这是一段具体的代码，执行的时候会打印XXL-JOB, Hello World.,我们可以对他进行编辑；

执行一次之后，在执行日志可以看见如下内容：

这代表执行成功了！

GLUE模式实现远程调用

因为GLUE模式中可以注入spring容器中的类。所以我们可以通过注入RestTemplate实现远程调用功能。

将RestTemplate注入spring容器

新建一个配置类,将RestTemplate注入为bean。

package com.xxl.job.executor.core.config;

import org.springframework.context.annotation.Bean;
import org.springframework.stereotype.Component;
import org.springframework.web.client.RestTemplate;

@Component
public class RestTemplateConfig {
    @Bean
    private RestTemplate restTemplate(){
        return new RestTemplate();
    }
}

将RestTemplate注入到任务中

新建一个GLUE任务，进入IDE,改变代码。我们通过@Autowired注入RestTemplate。

package com.xxl.job.service.handler;

import com.xxl.job.core.log.XxlJobLogger;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.client.RestTemplate;

public class GlueJobHandler extends IJobHandler {
	@Autowired
    private RestTemplate restTemplate;
	@Override
	public ReturnT<String> execute(String param) throws Exception {
      	// 调用restTemplate方法，发送请求查询
      	String forObject = restTemplate.getForObject("https://baijiahao.baidu.com/s?id=1668537503537275385&wfr=spider&for=pc",String.class);
		XxlJobLogger.log("restTemplate 测试");
      XxlJobLogger.log(forObject);
		return ReturnT.SUCCESS;
	}
}

地址可以自定义为想要的地址。方便测试我使用了此链接。 保存之后点击执行一次。在执行日志中可以看到如下：

说明我们发送了请求，获取了此链接的内容。

我们在项目中可以在此代码中，使用模块之间的地址。实现模块之间的调用。

avatar
文章
阅读
粉丝