开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 19 天，点击查看活动详情

DataX和SQLServer的导入导出案例

写在前面

Linux版本：CentOS7.5
SQLServer版本：mssql-server-2017
DataX版本：DataX3.0（开源版）

SQLServer数据库的简单使用

SQLServer数据库一些常用的Shell脚本命令

启动SQLServer数据库服务的命令

systemctl start mssql-server

重启SQLServer数据库服务的命令

systemctl restart mssql-server

停止SQLServer数据库服务的命令

systemctl stop mssql-server

查看SQLServer数据库服务的状态

systemctl status mssql-server

SQLServer数据库服务的具体配置路径在以下目录中可以查看和编辑

/opt/mssql/bin/mssql-conf

创建数据库

SQLServer数据库和MySQL数据库的基本SQL命令是一样的，如下所示：

（1）创建数据库的SQL命令

> create database datax     
> go

注意：SQLServer数据库（Linux环境下）在执行sql语句后，需要执行 go 命令以帮助真正实现前面执行的SQL命令，切记，切记，切记！！！

（2）查看当前数据库列表有哪些

查询 SysDatabases 表即可得到相应的结果

> select * from SysDatabases    
> go

(3) 查看当前数据表

此操作需要查看的是 sysobjects 表并制定过滤条件 xtype='u'来得到清晰的结果

> use 数据库名
> select * from sysobjects where xtype='u'
> go

（4）查看表的数据

> select * from 对应数据库的表名称;
> go

DataX 导入导出案例

创建表并插入数据

> create table student(id int,name varchar(25)) 
> go

往student表插入一条新的数据

> insert into student values(1,'zhangsan') go

读取 SQLServer 的数据导入到 HDFS

编写所需的配置文件

[whybigdata@node01 datax]$ vim job/sqlserver2hdfs.json

json文件内容应该为如下：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "sqlserverreader",
                    "parameter": {
      "column": [
       "id",
       "name"
      ],
                        "connection": [
                            {
                                "jdbcUrl": [
         "jdbc:sqlserver://node02:1433;DatabaseName=datax"
        ],
                                "table": [
         "student"
        ]
                            }
                        ],
                        "password": "asdfghj000.",
                        "username": "SA"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
       {
        "name": "id",
        "type": "int"
       },
       {
        "name": "name",
        "type": "string"
       }
      ],
                        "defaultFS": "hdfs://node01:8020",
                        "fieldDelimiter": "=",
                        "fileName": "sqlserver.txt", 
      "fileType": "text",
      "path": "/datax-out", 
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

查看hdfs上的执行结果，如下图所示；

读取 SQLServer 的数据导入 MySQL

新建一个json文件

[whybigdata@node01 datax]$ vim job/sqlserver2mysql.json

json文件内容如下所示：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "sqlserverreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:sqlserver://node02:1433;DatabaseName=datax"
                                ],
                                "table": [
                                    "student"
                                ]
                            }
                        ],
                        "username": "root",
                        "password": "123456"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://node01:3306/datax",
                                "table": [
                                    "student"
                                ]
                            }
                        ],
                        "password": "asdfghj000.",
                        "username": "SA",
                        "writeMode": "insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }

执行结果查验：

SQLServer数据导入MySQL之前MySQL中表的数据如下所示：

SQLServer数据导入MySQL之后MySQL中表的数据如下所示：

可以观察到，SQLServer数据成功导入到MySQL中。

总结

DataX和SQLServer的数据导入导出其实并不难，同样的还是编写正确的json文件，之后的操作就i是家常便饭。

DataX和SQLServer之间的数据导入导出案例，全文结束！

本文使用 markdown.com.cn 排版