Loader

473 阅读3分钟

1.Loader简介

FusionInsight HD Loader能实现FusionInsight HD与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件。支持将数据或文件从关系型数据库或文件系统导入到FusionInsight HD系统中。

2.Loader支持的导入场景:

支持从关系型数据库导入数据到HDFS、HBase、Phoenix表、Hive表。

支持从SFTP服务器导入文件到HDFS、HBase、Phoenix表、Hive表。

支持从FTP服务器导入文件到HDFS、HBase、Phoenix表、Hive表

支持同一集群内HDFS导入文件到HBase

从VoltDB数据库导入数据到HDFS、HBase、Phoenix表、Hive表。

3.Loader支持的导出场景:

支持从HDFS中导出文件到SFTP服务器、关系型数据库。

支持从HBase中导出文件到SFTP服务器、关系型数据库。

支持从HDFS、HBase、Phoenix中导出数据到VoltDB数据库。

支持从Phoenix表导出数据到SFTP服务器、关系型数据库。

支持从Hive中导出数据到SFTP服务器、关系型数据库、VoltDB。

支持同一集群内HBase导出文件到HDFS。

4.Loader使用的两种途径

Loader支持通过界面可视化UI或者命令行工具调用他的功能。

UI界面

通过FusionInsight Manage的服务管理菜单,进入Loader服务,使用Loader页面进行Loader作业的创建与运行。本文以从MySQL导入数据到HBase作为实例对LoaderUI进行说明。详见《LoaderUI实例:从MySQL导入数据到HBase》一章。

命令行工具

Loader提供在客户端使用命令行的方式使用Loader服务。本文以从HBase导出数据到MySQL作为实例对命令行工具做了介绍

5.LoaderUI实例:从MySQL导入数据到HBase

     用户能通过LoaderUI界面方式来使用Loader的服务,实现数据导入或者导出功能。

实现步骤:

1.登录Loader

    通过FusionInsight HD Manager登录LoaderUI界面

2.单击“新建作业”按钮,进入新建界面

3.配置连接器信息

    选择“添加”或者“编辑”,创建新连接或者使用已有连接。

    配置详细连接信息。

4.配置MySQL要导入到HBase的数据信息

    配置要导入的数据库为test0502,表为teacher,导入的列为id及address。

5.配置输入信息(MySql列设置)

    将左侧输入中的“表输入”拖动到右侧操作区,并单击编辑按钮进行输入项配置界面。

    单击“自动识别”,识别列。

    识别效果如下:

6.配置输出信息(HBase列设置)

    将左侧输出中的“HBase输出”拖动到右侧操作区,并单击编辑按钮进行输入项配置界面。

    设置HBase的表空间,列族,列等信息。至少要指定一个字段为主键。

7.用线连接输入输出配置

    为输入及输出配置连线。

8.设置任务执行信息

8.查看结果

    配置完成后单击保存并运行,看到Loader的首页有刚刚配置好的任务执行状况。

    待任务执行完毕,即可通过HBase的JavaAPI等途径,查看是否导入数据成功。