1.基本介绍   DataX是一种异构数据源离线同步工具，实现了包括关系型数据库(如Mysql)、HDFS、Hive、Hbase、FTP、ElasticSearch等各种异构数据源之间稳定高效的数据同

1 前言   Datax3.0 是异构数据源离线同步工具，支持多种类数据源，能够支撑较为复杂的业务场景。本文主要描述其的安装和多种使用方式。 2 工具的安装和部署 2.1 安装 jdk 1.8   

1 程序入口类Engine   任务执行的入口类为Engine   Engine类内部的entry方法主要功能是： 解析命令行参数-mode， -jobid ，-job ，分别获取执行模式，jobid

1.DataX的整体架构   主要分为三个部分，Reader，FrameWork，Writer 1.1 Reader   读数据库内容的插件，一个 job 会根据 json 配置文件调用 对应数据源的

1. JobContainer 1.1 基本介绍   JobContainer 的 job 实例运行在 jobContainer 容器中，它是所有任务的 master，负责初始化、拆分、调度、运行、回

Datax 的使用过程中，我们会发现，不管是利用 java 调用以及 python 命令启动的方式，我们都无法进行任务的管理，并且每次执行任务前，我们 都需要编辑 Json 配置文件，这是比较繁琐的，

本次采用的 hive版本为3.1.2 ， mysql 为8.0.20 . 一、Hive 基本概念 1.1 什么是 Hive 1.1.1 简介