1.Loader简介
FusionInsight HD Loader能实现FusionInsight HD与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件。支持将数据或文件从关系型数据库或文件系统导入到FusionInsight HD系统中。
2.Loader支持的导入场景:
支持从关系型数据库导入数据到HDFS、HBase、Phoenix表、Hive表。
支持从SFTP服务器导入文件到HDFS、HBase、Phoenix表、Hive表。
支持从FTP服务器导入文件到HDFS、HBase、Phoenix表、Hive表
支持同一集群内HDFS导入文件到HBase
从VoltDB数据库导入数据到HDFS、HBase、Phoenix表、Hive表。
3.Loader支持的导出场景:
支持从HDFS中导出文件到SFTP服务器、关系型数据库。
支持从HBase中导出文件到SFTP服务器、关系型数据库。
支持从HDFS、HBase、Phoenix中导出数据到VoltDB数据库。
支持从Phoenix表导出数据到SFTP服务器、关系型数据库。
支持从Hive中导出数据到SFTP服务器、关系型数据库、VoltDB。
支持同一集群内HBase导出文件到HDFS。
4.Loader使用的两种途径
Loader支持通过界面可视化UI或者命令行工具调用他的功能。
UI界面
通过FusionInsight Manage的服务管理菜单,进入Loader服务,使用Loader页面进行Loader作业的创建与运行。本文以从MySQL导入数据到HBase作为实例对LoaderUI进行说明。详见《LoaderUI实例:从MySQL导入数据到HBase》一章。
命令行工具
Loader提供在客户端使用命令行的方式使用Loader服务。本文以从HBase导出数据到MySQL作为实例对命令行工具做了介绍
5.LoaderUI实例:从MySQL导入数据到HBase
用户能通过LoaderUI界面方式来使用Loader的服务,实现数据导入或者导出功能。
实现步骤:
1.登录Loader
通过FusionInsight HD Manager登录LoaderUI界面
2.单击“新建作业”按钮,进入新建界面
3.配置连接器信息
选择“添加”或者“编辑”,创建新连接或者使用已有连接。
配置详细连接信息。
4.配置MySQL要导入到HBase的数据信息
配置要导入的数据库为test0502,表为teacher,导入的列为id及address。
5.配置输入信息(MySql列设置)
将左侧输入中的“表输入”拖动到右侧操作区,并单击编辑按钮进行输入项配置界面。
单击“自动识别”,识别列。
识别效果如下:
6.配置输出信息(HBase列设置)
将左侧输出中的“HBase输出”拖动到右侧操作区,并单击编辑按钮进行输入项配置界面。
设置HBase的表空间,列族,列等信息。至少要指定一个字段为主键。
7.用线连接输入输出配置
为输入及输出配置连线。
8.设置任务执行信息
8.查看结果
配置完成后单击保存并运行,看到Loader的首页有刚刚配置好的任务执行状况。
待任务执行完毕,即可通过HBase的JavaAPI等途径,查看是否导入数据成功。