DolphinScheduler 配置 DataX工作流动态参数

1,098 阅读1分钟

如题,在配置DataX任务时,常常需要对时间范围进行反复的修改,这需要将datax任务的json文本进行更改,非常麻烦。

DolphinScheduler支持配置DataX工作流的自定义参数,通过参数传递字符串变量。方便工作流的更改配置。具体使用方法如下:

1.配置工作流中的自定义参数,如我们这里设置的参数名为time,值为“25 MINUTE”。

image.png

2.在自定义模板中的sql查询中使用该参数,引用方法为 ${time}。

{
    "core": {
        "transport": {
            "channel": {
                "speed": {
                    "channel": 8,
                    "record": -1,
                    "byte": -1,
                    "batchSize": 4096
                }
            }
        }
    },
    "job": {
        "setting": {
            "speed": {
                "record": -1,
                "byte": -1,
                "channel": 8,
                "batchSize": 4096
            }
        },
        "content": [{
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "username": "reader",
                    "password": "*****",
                    "connection": [{
                        "querySql": [
                            "SELECT * from table_name where update_time > date_sub(now(), INTERVAL ${time})"
                        ],
                        "jdbcUrl": [
                            "***"
                        ]
                    }]
                }
            },

            "writer": {
                "name": "mysqlwriter",
                "parameter": {
                    "writeMode": "update",
                    "username": "writer",
                    "password": "*****",
                    "column": [
                        "create_time",
                        "bar_code"
                    ],
                    "connection": [{
                        "jdbcUrl": "****",
                        "table": [
                            "table_name"
                        ]
                    }]
                }
            }
        }]
    }
}