离线计算是什么?
批量的获取数据、批量的传输数据、批量的存储数据、周期性计算数据、数据可视化
flume批量获取数据、sqoop批量传输、hdfs/hive/hbase批量存储、mr/hive计算数据、BI
flume是日志收集系统。
Sqoop(发音:skup)是一款开源的工具,
主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,
可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,
也可以将HDFS的数据导进到关系型数据库中。
实时计算是什么?
数据实时产生、数据实时传输、数据实时计算、实时展示
flume实时获取数据、kafka实时数据存储、Storm/JStorm/flink实时计算、实时展示(dataV/quickBI)