很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式： 第一种可以是在业务中编写代码，将觉得需要发送的数据发送到消息队列，最终落地到大数据集群。 第二种则是通过数据同步的方式，将关系型数据同步到大数据集群，可以是存储在 hdfs 上，使用 hive 进行分析，或者是直接…

本文主要介绍CDH6.2+StreamSets3.9。 StreamSets是一个大数据采集和数据处理工具。可以通过拖拽式的可视化操作，实现数据管道(Pipelines)的设计和调度。其特点有： 拖拽式的可视化界面操作，上手快。 对常见数据处理(数据源、数据操作、数据输出)支持…

上篇文章 Mysql 到 Hbase 数据如何实时同步，强大的 Streamsets 告诉你 我们说到了如何使用 Streamsets 来进行 mysql 到 hbase 的数据实时同步（迁移）。使用 Streamsets 的优点是部署简单，配置灵活，无需编写代码。 认真阅读上…