datax数据迁移

Raines
688 阅读6分钟

datax数据迁移

前言

一、DataX简介

1.DataX3.0框架设计

2.DataX3.0核心架构

二、使用DataX实现数据同步

1.Linux上安装DataX软件

2.DataX基本使用

3.DataX全量同步实战

4.使用DataX进行增量同步

5.使用DataX实现定时数据增量同步

前言

或者我们公司将项目的数据报告并存储到最高五，但是因为那块数据准确，业务库和报告库又是库操作，所以不能同时使用 SQL 来进行。当时的打算是mysqldump通过的方式来进行同步，但尝试后发现这些方案都不切实际：

mysqldump：备份时间时间，同步，而且在备份的时间也需要，可能还有数据需要同步（不需要同步）

存储方式：效率太慢了，这个数据量少了还好，我们用这个方式的时候，三个才每小时同步两千条数据……

一、DataX简介

DataX 是阿里云DataWorks的各种数据集成的开源版本，就是实现数据间的 离线同步。DataX主要实现关系数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等构数据源（即不同的数据库） 间稳定的数据同步功能。

为了解决数据源X的数据源同步，数据源将复杂的星网状网络问题同步形成数据类型 ，DataX作为数据源之间的载体连接；

当需要接入一个新的数据源时，只需将一个新的数据源对X个数据源进行同步，就可以将现有的数据源作为源数据。

1.DataX3.0框架设计

DataX采用架构，将数据源读取和写入称为框架+读写器插件，加入到整个同步框架中。

角色作用
阅读器（采集模块）负责采集数据源的数据，将其发送给Framework。
Writer（写入模块）负责不断向Framework中取数据，并将数据写入到目的端。
框架（中间商）负责连接Reader和Writer，作为另一个数据传输通道，并处理缓冲，流控，同时，数据等技术问题。

2.DataX3.0核心架构

DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本小节按一个DataX作业生命周期的时序图，从整体架构设计非常简要说明DataX各个模块相互关系。

核心模块介绍：

  1. DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。

  2. DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。

  3. 切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。

  4. 每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。

  5. DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0

DataX调度流程：

举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。 DataX的调度决策思路是：

  1. DataXJob根据分库分表切分成了100个Task。

  2. 根据20个并发，DataX计算共需要分配4个TaskGroup。

  3. 4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。

二、使用DataX实现数据同步

准备工作：

  • JDK（1.8以上，推荐1.8）
  • Python（2，3版本都可以）
  • Apache Maven 3.x（Compile DataX）（手动打包使用，使用tar包方式无需安装）
主机名操作系统IP地址餐食
MySQL-1CentOS 7.4192.168.1.1jdk-8u181-linux-x64.tar.gz datax.tar.gz
MySQL-2CentOS 7.4192.168.1.2

安装JDK：下载地址（需要创建Oracle账号）

[root@MySQL-1 ~]# ls
anaconda-ks.cfg  jdk-8u181-linux-x64.tar.gz
[root@MySQL-1 ~]# tar zxf jdk-8u181-linux-x64.tar.gz 
[root@DataX ~]# ls
anaconda-ks.cfg  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
[root@MySQL-1 ~]# mv jdk1.8.0_181 /usr/local/java
[root@MySQL-1 ~]# cat <> /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:"$JAVA_HOME/bin"
END
[root@MySQL-1 ~]# source /etc/profile
[root@MySQL-1 ~]# java -version

因为 Cent 7 上自带 Python 2.7 的软件包，所以不需要安装。

1.Linux上安装DataX软件

[root@MySQL-1 ~]# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
[root@MySQL-1 ~]# tar zxf datax.tar.gz -C /usr/local/
[root@MySQL-1 ~]# rm -rf /usr/local/datax/plugin/*/._*      # 需要删除隐藏文件 (重要)

当未删除时，可能会输出：[/usr/local/datax/plugin/reader/._drdsreader/plugin.json] 不存在。请检查您的配置文件。

验证：

[root@MySQL-1 ~]# cd /usr/local/datax/bin
[root@MySQL-1 ~]# python datax.py ../job/job.json       # 用来验证是否安装成功

输出：

2021-12-13 19:26:28.828 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-12-13 19:26:28.829 [job-0] INFO  StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 253.91KB/s, 10000 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.060s |  All Task WaitReaderTime 0.068s | Percentage 100.00%
2021-12-13 19:26:28.829 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-12-13 19:26:18
任务结束时刻                    : 2021-12-13 19:26:28
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

2.DataX基本使用

查看streamreader --> streamwriter的模板：

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py -r streamreader -w streamwriter

输出：

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
Please refer to the streamreader document:
     https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md 

Please refer to the streamwriter document:
     https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md 
 
Please save the following configuration as a json file and  use
     python {
   
     DATAX_HOME}/bin/datax.py {
   
     JSON_FILE_NAME}.json 
to run the job.

{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "streamreader", 
                    "parameter": {
   
     
                        "column": [], 
                        "sliceRecordCount": ""
                    }
                }, 
                "writer": {
   
     
                    "name": "streamwriter", 
                    "parameter": {
   
     
                        "encoding": "", 
                        "print": true
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": ""
            }
        }
    }
}

可以编写模板json文件

3.DataX全量同步实战

实战：Mysql中etian_db库与etian_db_copy库同步l_biz_drilling表（要同步的两个库都有这个表）

  1. 生成MySQL到MySQL同步的模板：
[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py -r mysqlreader -w mysqlwriter
{
   
     
    "job": {
   
     
        "content": [
            {
   
     
                "reader": {
   
     
                    "name": "mysqlreader",       # 读取端
                    "parameter": {
   
     
                        "column": [],         # 需要同步的列 (* 表示所有的列)
                        "connection": [
                            {
   
     
                                "jdbcUrl": [],       # 连接信息
                                "table": []       # 连接表
                            }
                        ], 
                        "password": "",        # 连接用户
                        "username": "",        # 连接密码
                        "where": ""         # 描述筛选条件
                    }
                }, 
                "writer": {
   
     
                    "name": "mysqlwriter",       # 写入端
                    "parameter": {
   
     
                        "column": [],         # 需要同步的列
                        "connection": [
                            {
   
     
                                "jdbcUrl": "",       # 连接信息
                                "table": []       # 连接表
                            }
                        ], 
                        "password": "",        # 连接密码
                        "preSql": [],         # 同步前. 要做的事
                        "session": [], 
                        "username": "",        # 连接用户 
                        "writeMode": ""        # 操作类型
                    }
                }
            }
        ], 
        "setting": {
   
     
            "speed": {
   
     
                "channel": ""          # 指定并发数
            }
        }
    }
}

2 、编写install.json文件：

{

"job": {

"content": [{

"reader": {

"name": "mysqlreader",

"parameter": {

"column": ["*"],

"connection": [{

"jdbcUrl": ["jdbc:mysql://172.16.63.50:3306/etian_db_copy?characterEncoding=utf8"],

"table": ["l_biz_drilling"]

}],

"password": "mysql",

"username": "root",

"where": ""

}

},

"writer": {

"name": "mysqlwriter",

"parameter": {

"column": ["*"],

"connection": [{

"jdbcUrl": "jdbc:mysql://172.16.63.50:3306/etian_db?characterEncoding=utf8",

"table": ["l_biz_drilling"]

}],

"password": "mysql",

"preSql": [],

"session": ["set session sql_mode='ANSI'"],

"username": "root",

"writeMode": "insert"

}

}

}],

"setting": {

"speed": {

"channel": "5"

}

}

}

}

3 、验证

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py install.json

输出：

2021-12-15 16:45:15.120 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-12-15 16:45:15.120 [job-0] INFO  StandAloneJobContainerCommunicator - Total 2999999 records, 107666651 bytes | Speed 2.57MB/s, 74999 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 82.173s |  All Task WaitReaderTime 75.722s | Percentage 100.00%
2021-12-15 16:45:15.124 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-12-15 16:44:32
任务结束时刻                    : 2021-12-15 16:45:15
任务总计耗时                    :                 42s
任务平均流量                    :            2.57MB/s
记录写入速度                    :          74999rec/s
读出记录总数                    :             2999999
读写失败总数                    :                   0

你们可以在目标数据库中进行查看，是否同步完成。

全量的方式是完全同步的，但是当数据量多时，同步的时候被中断的很苦恼的事情；

所以在某种情况下，增量同步还是蛮重要的。

4.使用DataX进行增量同步

使用DataX全量同步和增量同步的唯一区别是：增量同步需要使用 where 进行条件筛选。 （即，同步进行筛选后的SQL）

job.connection.where处填写where条件，例如"id>888"，将会同步id大于888的数据

需要注意的就是：where（条件筛选）部分和preSql（同步前，做的事情）参数。

5.使用DataX实现定时数据增量同步

  1. crontab -e插入linux系统定时任务

*/5 * * * * /usr/local/datax/bin/sync.sh > /dev/null 2>&1

  1. sh脚本sync.sh

source /etc/profile

获取服务器当前时间戳

cur_time=$(date +%s)

数据起始时间设置为5分钟+1分钟前(允许一分钟内的数据重复推送)

start_time=((((cur_time - 360))

将起始时间作为参数传入到datax脚本

/usr/bin/python2 /usr/local/datax/bin/datax.py /usr/local/datax/bin/mysql.json -p "-Dstart_time=$start_time" >>/var/log/datax/summary_log.date +%Y%m%d 3>&1 &

  1. datax同步脚本mysql.json

{

"job": {

"content": [{

"reader": {

"name": "mysqlreader",

"parameter": {

"column": ["*"],

"connection": [{

"jdbcUrl": ["jdbc:mysql://172.16.63.50:3306/etian_db_copy?characterEncoding=utf8"],

"table": ["l_biz_drilling"]

}],

"password": "mysql",

"username": "root",

"where": "start_time>FROM_UNIXTIME($start_time)"

}

},

"writer": {

"name": "mysqlwriter",

"parameter": {

"column": ["*"],

"connection": [{

"jdbcUrl": "jdbc:mysql://172.16.63.50:3306/etian_db?characterEncoding=utf8",

"table": ["l_biz_drilling"]

}],

"password": "mysql",

"preSql": [],

"session": ["set session sql_mode='ANSI'"],

"username": "root",

"writeMode": "insert"

}

}

}],

"setting": {

"speed": {

"channel": "5"

}

}

}

}

avatar
文章
阅读
粉丝